タグなしコーパスからの形態素解析情報の抽出

从未标记的语料库中提取形态分析信息

基本信息

批准号：
08780329
负责人：
山本幹雄
金额：
$ 0.64万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1996
资助国家：
日本
起止时间：
1996 至无数据
项目状态：
已结题

项目摘要

本研究では、自然言語処理において最も基本的な形態素解析(文中の単語、品詞や活用型など同定する)に関する確率的なルールをタグなしのコーパスから学習する方法を検討した。大きく2つの手法を提案し、評価実験を行った。1つ目の手法は、本研究以前に既に提案されている1次マルコモデルを推定する方法と異なり、隠れマルコフモデルを推定する手法である。隠れマルコフモデルは2次マルコフモデルに近い性能を少ないパラメータで実現できるため、そのロバスト性において優れている。これまでの研究では実用的には1次マルコフモデルを推定できるのみであったが、より高性能なモデルをタグなしコーパスから推定することが可能となった。また、タグなしコーパスから確率モデルを推定する場合ノズルが大きな問題となるが、本研究では2つ目の提案として信頼性係数を導入し、ノイズによる影響の軽減を試みた。これは、タグなしコーパスから抽出された可能な単語連鎖に信頼性を付与することによって、信頼性の低い連鎖によるノイズを低減する手法である。以上2つの手法を実際の日本語形態素解析システムに応用し、評価を行った。この結果、信頼性係数はマルコフモデル、隠れマルコフモデルどちらのモデルに対してもタグなしコーパスから推定する場合に有効であることが分かった。また、信頼性係数を使わない状態で隠れマルコフモデルと1次マルコフモデルを比較した場合は、1次マルコフモデルの方が性能が高かった。しかし、信頼性係数が使われてある程度ノイズが押えられるとこの関係は逆転した。これは、隠れマルコフモデルは1次マルコフモデルよりもパラメータ数が多く精密なモデルであるため、ノイズに弱いためであると考えられる。

在这项研究中，我们研究了如何从没有标签的COD中学习自然语言处理（句子，语音和利用类型中的单词）的最基本形式分析的随机规则。我们提出了两种主要方法，并进行了评估实验。第一种方法是估计隐藏的Marcov模型的方法，这与估计本研究之前已经提出的主要MARCO模型的方法不同。隐藏的Marcov模型的钝度非常出色，因为它可以实现与低参数的次级Marcov模型接近的性能。到目前为止，在实践研究中，只有可以估算主要的Marcov模型，但可以估算COPU的较高性能模型而不标记。另外，当从无标签语料库中估算概率模型时，喷嘴是一个主要问题，但是在这项研究中，将可靠性系数作为第二个提案引入，我们试图减少噪声的影响。这是一种通过可靠性从无标签涂层提取的可能的单词链来可靠性来降低噪音的方法。以上两种方法应用于实际的日本形态分析系统并进行了评估。结果，发现可靠的系数在从Capus估算的无标签和隐藏的Marcov模型的情况下是有效的。此外，当将隐藏的Marcov模型与主要Marcov模型进行比较而无需使用可靠性系数时，主要的Marcov模型是更大的性能。但是，当使用可靠系数并在某种程度上保持噪声时，这种关系被逆转。这可能是因为隐藏的Marcov模型容易受到噪声的影响，因为参数的数量大于主Marcov模型。