Suffix Arrayを利用した全部分文字列による情報検索

使用后缀数组使用所有子字符串进行信息搜索

基本信息

批准号：
11780249
负责人：
山本幹雄
金额：
$ 1.6万
依托单位：
University of Tsukuba
依托单位国家：
日本
项目类别：
Grant-in-Aid for Encouragement of Young Scientists (A)
财政年份：
1999
资助国家：
日本
起止时间：
1999 至 2000
项目状态：
已结题

项目摘要

昨年度は、ユーザによって入力された検索要求文のすべての部分文字列と、検索対象となる文書集合のすべての文字列をマッチングさせるシステムの構築・評価を行った。その結果、従来法からの精度向上を確認したが、さらなる精度向上と高速化が課題であることが明らかになった。今年度は、まず、全部分文字列を利用することによって性能が上がる理由、およびその限界を検討した結果以下のことが分かった。(1)品詞ごとの検索性能への寄与を調べたところ、従来法ではstop wordとして省かれる助詞や助動詞が以外に性能向上に寄与していることが分かった。これは、助詞等によって接続された複合語も1つの長い単語として扱う方がよいことを示している。(2)検索要求文の中では助詞で接続された長い複合語が、検索対象文献では助詞を省略した名詞連続で表現されている場合、昨年度提案した方法では長い複合語のままではマッチしないため、自動的に短い単語に分割されてしまう。その結果、検索精度が低下している。以上の2点より、部分的に異なってもできるだけ長い単語列でマッチングするシステムが性能・検索速度の面で有利であると考えた。これを反映させるために、マッチングの単位は単語であるが、マッチした単語が近傍に複数存在するときに類似度を上げるような検索システムを構築した。NTCIR-1の評価データを使って、条件を揃えて評価した結果、11pt平均適合率で、従来法が0.38、昨年度作成したシステムが0.40、今年度の提案システムが0.41の性能であり、精度面の向上を確認した。速度の面でも、昨年度より10倍程度の高速化を達成した。

去年，我们构建并评估了一个系统，该系统将用户输入的搜索请求句子的所有子字符串与要搜索的文档集的所有字符串进行匹配。结果证实，与传统方法相比，精度得到了提高，但很明显，进一步提高精度和加速仍然是问题。今年，我们首先调查了使用所有子串提高性能的原因及其局限性，并发现了以下内容。（1）当我们调查每个词性对检索性能的贡献时，我们发现在传统方法中作为停用词被省略的助词和助动词也有助于性能的提高。这表明，最好将由助词等连接的复合词视为一个长词。 (2)如果将搜索请求语句中由助词连接的长复合词表示为搜索目标文档中省略助词的一系列名词，则去年提出的方法将无法按原样匹配该长复合词。，它会自动分割成较短的单词。结果，搜索准确性下降了。基于以上两点，我们认为，即使单词串部分不同，也尽可能长时间匹配单词串的系统在性能和搜索速度方面将具有优势。为了反映这一点，我们构建了一个搜索系统，该系统使用单词作为匹配单位，但当附近存在多个匹配单词时会增加相似度。使用NTCIR-1的评估数据评估条件的结果是，传统方法的性能为0.38，去年创建的系统为0.40，今年提出的系统为0.41，平均精度为11pt。的改进从速度上来说，我们实现了比去年大约10倍的提升。