類似単語対の識別に重要な文字対の調査

对识别相似单词对很重要的字符对的调查

• 批准号: 08780326
• 负责人: 大槻 恭士
• 金额: $ 0.51万
• 依托单位: Yamagata University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08780326/
• 关键词: 文字認識; 文書認識; 誤り訂正; 単語辞書; ミニマル・ペア; 類似度

文字認識技術は今後手書きされた文書の認識へと発展が期待されているが,この場合現在の技術では文字の認識誤りが高頻度で発生することは不可避であり,この誤りを何らかの方法により訂正することが必要である.特に言語の持つ冗長性を生かした単語辞書による誤り訂正は強力な誤り訂正手法であるが,それでも訂正できない誤りが存在する.例えば文字単位の認識で単語「文字」の「字」が「学」と誤り,辞書中に「文字」と「文学」の両方とも存在すると,この誤りは訂正することが不可能となる.このような単語対はミニマル・ペア(MP)と呼ばれ,それらを区別する文字対(先の例では「字」と「学」)の識別は,最終的な認識性能を左右するため重要である.本研究では,MPを識別するためにはどのような文字を重点的に認識すれば良いかを解明するため,手書き文字データベースETL9における文字間の近さを類似度によって測り,新明解国語辞典の重要語中のMPについての調査を行なった.その結果,MPおよびMPを識別する文字対は全体のごく僅かであるが,識別に関わる文字は文字全体の大きな部分を占め,ほとんどの文字の認識がMPの識別に必要であることが明らかになった.また,MPの識別における文字対の重要性の基準として,従来の確率に代えて類似度の期待値を考え,重要性の高い文字対の調査を行い,活用語に由来する「す-る」,「り-る」,数詞に由来する「月-日」,複合動詞に由来する「見-切」,「取-引」などの識別が重要であること,そして文字としては「頼」「勝」「通」「縮」「広」「締」「埋」「取」「立」「飛」「見」「浮」「切」「る」などの認識が重要であることが明らかになった.

字符识别技术未来有望发展到手写文档的识别，但在这种情况下，以现有的技术不可避免地会频繁出现字符识别错误，而这些错误必须通过某种方法来纠正，特别是纠错。使用利用语言固有的冗余性的词典是一种强大的纠错方法，但仍然存在一些无法纠正的错误。”如果“人物”被错误地读作“学”，而“人物”和“文学”都存在于字典中，则无法纠正此错误。这样的词对称为最小词对（MP）。区分它们的字符对（在前面的例子中是“字符”和“学”）的识别很重要，因为它会影响最终的识别性能。在本研究中，为了识别 MP，为了找出应该优先识别什么样的字符，我们我们通过相似度来衡量字符数据库ETL9中字符之间的接近度，并调查了新明会日语词典中重要单词中的MP。结果，我们发现MP和识别MP的字符对总数很少，但确实存在。可以看出，参与识别的字符占字符总数的很大一部分，并且大多数字符的识别是MP识别所必需的。此外，作为MP识别中字符对重要性的标准， ,考虑相似度的期望值而不是传统的概率，我们研究了最重要的字符对，发现“su-ru”和“ri-ru”源自共轭词，“monthly”源自共轭词源自数字“日”，“mi-kiri”源自复合动词“tori-”。识别“hi”等字符很重要，这些字符是“yori”、“katsu”、“tsu”、“jitsu”、“hiro”、“ shime”、“埋葬”、“tori”、“stand”、“hi”、“mi”和“uki”等单词的识别变得很明显。 “kiri”和“ru”很重要。