文字レベルと単語レベルの確率モデルを融合した形態素解析システム

结合字符级和词级概率模型的词法分析系统

基本信息

批准号：
09780309
负责人：
山本幹雄
金额：
$ 1.34万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

项目摘要

本年度(H10年度)の前半は、昨年度(H9年度)提案した文字レベルのモデルを用いた単語分割法(文字クラスタリング)、および単語レベルのモデルを用いた品詞付与手法(HMMの改良)を組合わせる研究を行った。1つ目の組合わせは、文字レベルのモデルで文の単語分割を決定し、その後、単語レベルのモデルで品詞を付与する手法である。2つ目は、文字レベルでの単語分割を一つに決定せず、単語候補のラティスを中間段階で生成し、その中から単語(の品詞)レベルのモデルで単語分割・品詞列を決定する手法である。評価実験の結果、文字レベルで単語分割を決定する手法(1つ目)が優れていることが明らかになった。これは、文字レベルのモデルが単語の字面の情報まで使うのに比べ、単語レベルのモデルが品詞のみの情報しか用いないため、単語の分割に関して誤った解を出す傾向か強かったためである。2つ目の融合手法を改良するためには、単語レベルのモデルにも字面情報を導入するべきと考えられるが、字面情報を使うと未知語に対する頑健性が弱くなることが予想される。本年度の後半では、これを解決するためのアプローチとして(間接的にはなるが)、文字レベルの統計情報を使った自動的な辞書項目の拡張を検討した。手法としては、情報検索で使われている類似度のメジャーを任意の部分文字列に適用した単語抽出法を提案し、未知語となりやすい固有名詞等の単語(情報検索におけるキーワード)を検出できることを示した。これは、文字レベルの統計情報を用いているため、間接的ではあるが、文字レベルのモデルと単語レベルのモデルを融合する方法の一つのアプローチとなっている。今後は、この情報を動的に取り入れる形態素解析システムを検討ずる。

在今年的上半年（2008年）中，我们使用了去年（2008年）提出的字符级模型（2008年）以及使用单词级别模型进行的角色级别模型（2008年）进行了研究，并使用字符级别的模型（2008年）进行了研究。第一个组合是一种技术，其中句子使用字母级模型将句子分为单词，然后将部分语音分配给单词级别的模型。第二种方法是不要在字母级别上确定单词划分为一个，而是在中间阶段生成候选单词的晶格，而是使用单词（语音）级别模型来确定单词划分和一部分语音序列。评估实验表明，在字母级别确定单词分裂的第一技术（第一种）非常好。这是因为，与字符级模型相比，单词级模型仅使用言论部分，它们倾向于对单词划分产生错误的解决方案，因为它们仅使用语音信息的一部分。为了改善第二种融合方法，人们认为应该在单词级模型中引入字体信息，但是可以预期，使用字体信息会削弱对未知单词的鲁棒性。今年晚些时候，我们考虑了一种解决此问题的方法（尽管可以间接）使用字符级统计数据自动扩展字典项目。作为一种方法，我们提出了一种单词提取方法，其中将信息搜索中使用的相似性度量应用于任意子字符串，表明单词（信息搜索中的关键字），例如可以检测到可能成为未知单词的专有名词。尽管间接，但这是对字符级别和单词级模型融合的方法，因为它使用了字符级统计信息。将来，我们将考虑一个动态整合此信息的词素分析系统。