文字レベルと単語レベルの確率モデルを融合した形態素解析システム

结合字符级和词级概率模型的词法分析系统

基本信息

批准号：
09780309
负责人：
山本幹雄
金额：
$ 1.34万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

项目摘要

本年度(H10年度)の前半は、昨年度(H9年度)提案した文字レベルのモデルを用いた単語分割法(文字クラスタリング)、および単語レベルのモデルを用いた品詞付与手法(HMMの改良)を組合わせる研究を行った。1つ目の組合わせは、文字レベルのモデルで文の単語分割を決定し、その後、単語レベルのモデルで品詞を付与する手法である。2つ目は、文字レベルでの単語分割を一つに決定せず、単語候補のラティスを中間段階で生成し、その中から単語(の品詞)レベルのモデルで単語分割・品詞列を決定する手法である。評価実験の結果、文字レベルで単語分割を決定する手法(1つ目)が優れていることが明らかになった。これは、文字レベルのモデルが単語の字面の情報まで使うのに比べ、単語レベルのモデルが品詞のみの情報しか用いないため、単語の分割に関して誤った解を出す傾向か強かったためである。2つ目の融合手法を改良するためには、単語レベルのモデルにも字面情報を導入するべきと考えられるが、字面情報を使うと未知語に対する頑健性が弱くなることが予想される。本年度の後半では、これを解決するためのアプローチとして(間接的にはなるが)、文字レベルの統計情報を使った自動的な辞書項目の拡張を検討した。手法としては、情報検索で使われている類似度のメジャーを任意の部分文字列に適用した単語抽出法を提案し、未知語となりやすい固有名詞等の単語(情報検索におけるキーワード)を検出できることを示した。これは、文字レベルの統計情報を用いているため、間接的ではあるが、文字レベルのモデルと単語レベルのモデルを融合する方法の一つのアプローチとなっている。今後は、この情報を動的に取り入れる形態素解析システムを検討ずる。

在今年的上半年（FY H10）中，使用了去年提出的字符 - 级模型（H99）的单词split方法（字符群集），以及使用单词级别模型（HMM改进）（hmm改进）嗯，我进行了研究。第一个组合是一种方法，其中句子的单词拆分由字符级别模型确定，然后给出单词级模型的一部分。第二个是字符级别的单词分开并未在一个中确定，但是在中间阶段生成了候选latis一词，并且单词split和单词的一部分由单词（语音的一部分）确定。这是一种方法。作为评估实验的结果，很明显，在字符级别确定单词拆分单词的方法（第一个）方法非常好。这是因为与“表面”一词的措辞相比，单词级别模型仅使用仅语音信息的数量，因此它倾向于对单词的划分做出不正确的解决方案。为了改善第二种融合方法，人们认为应该将字符信息引入单词级别的模型，但是可以预期，字符信息的使用将削弱未知语言。在今年下半年，我们使用字符级别的统计信息来研究自动词典的扩展，作为解决此问题的方法（间接）。作为一种方法，可以提出一种单词提取方法，该方法将用于信息搜索的主要相似性应用于任何部分字符串，并检测可能未知的单词（信息搜索中的关键字）。这是融合字符级别模型和单词级模型的一种方法，尽管它们使用了字符级别的统计信息，但这是间接的。将来，我们将考虑一种动态包含此信息的形态分析系统。