関連する複数のテキストを対象とした要約生成技術に関する研究

多相关文本摘要生成技术研究

基本信息

批准号：
09480062
负责人：
徳永健伸
金额：
$ 8.58万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
1997
资助国家：
日本
起止时间：
1997 至 1998
项目状态：
已结题

项目摘要

従来の情報検索システムでは,検索対象となる文書と検索要求とを重み付きのキーワードベクトルで表現し,余弦を求めることで関連性を判定するベクトル空間モデルを用いることが多い.通常,ベクトルの各要素の重みの計算には出現回数を基にした統計量を用いるが,このような表層的な情報のみを利用した手法では,関連性が低い文書も検索してしまうという問題が生ずる.今年度は,従来の手法によって検索された文書集合を対象とし,その中から自然言語処理技術を用いて不適切な文書を排除する手法について研究をおこなった.具体的には,文書中の動詞,格要素(名詞,助詞)からなる格フレームに注目し,格フレームと検索要求との関連性を求めることによって文書と検索要求との関連性を判定する.格フレームを利用することで,文書の構造的な情報を扱うことが可能となり,キーワードのみの集合に比べて精密に文書の内容を把握することが可能となる.初期検索によって検索された文書集合から,格フレームと検索要求との関連性の計算する.関連性の判定には,格フレームがどの程度検索要求に対して特徴的であるかを示す重要度という尺度を用いる.格フレームに対して直接重要度をめることは難しいため,動詞,格要素それぞれに重要度を求め,それらを用いて格フレーム重要度を求める.また類似,包含関係にある格フレーム間では,類似性に応じて相互に重要度を修正することにより,特徴的な格フレームの判定を容易にした.格フレームの類似性の判定には動詞,格要素それぞれに対し,シソ-ラスを用いて求められる類似度と呼ばれる尺度を導入した.このようにして求めた格フレームの重要度を用い,関連性の高い文書を判定する.約5,000文書からなる情報検索システム評価用のテストコレクションを用いて本手法を評価した結果,初期検索によって関連文書がある程度絞り込まれている場合には,従来法と比較して本手法が有効であることがわかった.

传统的信息检索系统常常采用向量空间模型，将待搜索的文档和搜索请求表示为加权关键词向量，通过计算余弦来确定相关性。通常，每个向量都是总元素权重该计算使用基于出现次数的统计数据，但是仅使用诸如此类的表面信息的方法会导致检索与该方法检索的文档集无关的文档的问题，我们研究了一种利用自然语言处理技术消除不适当文档的方法。具体来说，我们重点关注文档中由动词和格元素（名词、助词）组成的格框架，并通过确定它们的相关性通过使用案例框架，可以处理文档的结构信息，并且可以比单独一组关键字更准确地掌握文档的内容。案例框架和搜索请求之间的相关性是根据获得的文档集来计算的。为了确定相关性，使用了重要性度量，该度量指示案例框架对于搜索请求的特征程度，因为很难直接确定。衡量格框架的重要性，我们计算每个动词和格元素的重要性，并用它们来计算格框架重要性。此外，具有相似或包含关系的格框架之间，通过根据相似性相互修改重要性，可以轻松判断特征案例框架。为了判断格框架的相似度，我们引入了一种称为相似度的度量，它是使用同义词库对每个动词和格元素进行计算的。通过这种方式计算的格框架的重要性是使用测试集评估此方法的结果在评估由大约 5,000 个文档组成的信息检索系统时，我们发现，如果通过初始搜索将相关文档缩小到一定程度，则发现所提出的方法比传统方法更有效。