Suffix Arrayを利用した全部分文字列による情報検索

使用后缀数组使用所有子字符串进行信息搜索

基本信息

批准号：
11780249
负责人：
山本幹雄
金额：
$ 1.6万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至 2000
项目状态：
已结题

项目摘要

昨年度は、ユーザによって入力された検索要求文のすべての部分文字列と、検索対象となる文書集合のすべての文字列をマッチングさせるシステムの構築・評価を行った。その結果、従来法からの精度向上を確認したが、さらなる精度向上と高速化が課題であることが明らかになった。今年度は、まず、全部分文字列を利用することによって性能が上がる理由、およびその限界を検討した結果以下のことが分かった。(1)品詞ごとの検索性能への寄与を調べたところ、従来法ではstop wordとして省かれる助詞や助動詞が以外に性能向上に寄与していることが分かった。これは、助詞等によって接続された複合語も1つの長い単語として扱う方がよいことを示している。(2)検索要求文の中では助詞で接続された長い複合語が、検索対象文献では助詞を省略した名詞連続で表現されている場合、昨年度提案した方法では長い複合語のままではマッチしないため、自動的に短い単語に分割されてしまう。その結果、検索精度が低下している。以上の2点より、部分的に異なってもできるだけ長い単語列でマッチングするシステムが性能・検索速度の面で有利であると考えた。これを反映させるために、マッチングの単位は単語であるが、マッチした単語が近傍に複数存在するときに類似度を上げるような検索システムを構築した。NTCIR-1の評価データを使って、条件を揃えて評価した結果、11pt平均適合率で、従来法が0.38、昨年度作成したシステムが0.40、今年度の提案システムが0.41の性能であり、精度面の向上を確認した。速度の面でも、昨年度より10倍程度の高速化を達成した。

去年，我们构建并评估了一个系统，该系统与用户输入的所有搜索请求语句的子字符串与正在搜索的文档集的所有字符串输入。结果，确认了传统方法的准确性的提高，但已经表明，准确性和加快速度的进一步提高是一个挑战。今年，我们首先研究了通过使用所有基因来提高性能的原因，以及这些结果的局限性，并发现了以下内容：（1）当我们研究语音每个部分对搜索性能的贡献时，发现粒子和辅助动词在常规方法中省略了作为停止词，从而有助于提高性能。这表明最好将通过粒子等连接的复合单词视为一个长词。（2）在搜索请求句子中，如果通过粒子连接的长复合单词表示为搜索目标文献中的名词，则去年提出的方法是长的，如果它们是长复合词，并且它们会自动将其分为短词。结果，搜索精度降低了。基于上述两个点，我们认为，即使单词部分不同，它匹配最长的单词字符串，在性能和搜索速度方面也是有利的。为了反映这一点，构建了一个搜索系统，其中匹配单元是一个单词，但是当附近有多个匹配单词时，已经构建了一个搜索系统以提高相似程度。使用NTCIR-1评估数据，我们确认了11点平均兼容性率的性能，常规方法为0.38，去年创建的系统为0.40，今年拟议的系统为0.41，证实了准确性提高了。就速度而言，它的速度比去年快10倍。