高精度XML文書検索システムの問合せ処理高速化に関する研究

高精度XML文档检索系统查询加速处理研究

• 批准号: 16700103
• 负责人: 波多野 賢治
• 金额: $ 2.3万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16700103/
• 关键词: XML検索; 高精度・高速検索; リレーショナルデータベース; 計量統計学

本研究では,XML文書に対し利用者が問合せキーワードを入力し,そのキーワードに合致するXML部分文書を得る検索のことを「XML検索」と呼んでいる.検索対象がXML文書ではなくその部分文書となっていることで,検索対象となる部分文書数が爆発的に増加するため,検索精度の低下だけではなく検索速度の低下もXML検索における問題点となっている.この問題の解決には,キーワード検索の特質を理解し,明らかに検索結果となりえない,すなわち検索の際に不要となるXML部分文書(以下,不要部分文書と呼ぶ)を検索対象から外し,検索対象部分文書数を削減することが重要だとされており,この不要部分文書の除去によって検索速度および検索精度の改善が期待されている.従来から行われているこの種の研究では,不要部分文書の決定は人手によって行われてきた.例えば,<author>Kenji Hatano</author>のような部分文書は,ブーリアン検索では有用な検索結果になりえるが,キーワード検索の検索結果としては情報が不十分であるため,Kenji Hatanoが何のauthorなのかを理解できるようその上位の部分文書を検索対象とするといった具合である.しかし,このような作業を人手で行うのは重労働であるため,その作業の自動化が求められてきた.本年度の研究実績は,昨年度の研究成果である不要部分文書の自動決定するための統計量をリレーショナルデータベースに格納し,かつそのリレーショナルデータベースで検索処理ができるよう,問合せ変換器を構築したことである.また,不要部分文書の決定に統計量だけではなく不要部分文書だと明確なものはあらかじめリレーショナルデータベースに格納しない手順を追加した.その結果,本年度は検索対象XMLデータが昨年度と比較して約200MB増加したにも関わらず,検索速度,検索速度ともにほとんど変化しなかった.このように,本提案は実運用に耐えうる使用となっており,未来のWeb検索エンジン実現のための要素技術として,有用なものであるということができる.今後の課題は,問合せ処理時の最適化処理によって更なる高速化が期待できるため,今年度利用した統計情報をどのように検索システム内に格納するかなど,既存のRDBを利用した問合せ最適化について考える予定である.

在本研究中，用户在XML文档中输入查询关键字并获得与关键字匹配的XML部分文档的搜索被称为“XML搜索”。搜索目标不是XML文档，而是部分文档。 ，要搜索的部分文档数量呈爆炸性增长，导致XML搜索出现不仅搜索精度下降而且搜索速度下降的问题。为了解决这个问题，关键字搜索的特点我们知道，通过排除明显不能成为搜索结果的XML部分文档，即搜索过程中不需要的部分文档（以下称为不必要的部分文档），减少要搜索的部分文档的数量是很重要的。预计删除不必要的文档将提高搜索速度和准确性。在此类类型的常规研究中，不必要的文档都是手动确定的。例如，<作者>Kenji像 Hatano</author> 这样的部分文档对于布尔搜索来说可以是有用的搜索结果，但是它们没有为关键字搜索提供足够的信息，所以 Kenji为了让波多野了解他是什么样的作者，搜索目标是更高级别的部分文档。但是，手动执行此类工作是很困难的，因此需要将这项工作自动化。今年的研究成果包括。自动删除不必要的文件，这是去年研究的结果。我们构建了一个查询转换器来存储关系数据库中的确定统计信息，并在该关系数据库中执行搜索处理。此外，我们不仅使用统计信息来确定不必要的部分文档，而且还使用不必要的部分文档。明确的答案是创建。预先建立一个关系数据库。结果，尽管要搜索的XML数据比去年增加了约200MB，但搜索速度或搜索速度几乎没有变化。该提案已用于承受实际操作，并将用于。实现未来的网络搜索引擎。可以说，这项技术作为搜索系统的基础技术是有用的。未来的问题是如何在搜索系统中使用今年使用的统计信息，通过查询处理过程中的优化处理，有望进一步提高速度。我们计划考虑使用现有的RDB进行查询优化，例如是否将它们存储在.

项目成果

キーワードに基づいた部分文書検索における解答部分文書が持つ性質の分析

基于关键词的部分文档搜索中答案部分文档的属性分析

• 发表时间: 2004
• 期刊: 電子情報通信学会技術研究報告 Vol.1041 No.345
• 作者: 波多野 賢治;絹谷 弘子;吉川 正俊;植村 俊亮
• 通讯作者: 植村 俊亮

Analyzing the Properties of XML Fragments Decomposed from the INEX Document Collection

分析从 INEX 文档集合分解的 XML 片段的属性

• 发表时间: 2005
• 期刊: Advances in XML Information Retrieval, Lecture Notes in Computer Science 3493
• 作者: Kenji Hatano;Hiroko Kinutani;Toshiyuki Amagasa;Yasuhiro Mori;Masatoshi Yoshikawa;Shunsuke Uemura
• 通讯作者: Shunsuke Uemura

類似度計算の効率化によるXML検索の高速化について

关于通过提高相似度计算效率来加速XML搜索

• 发表时间: 2005
• 期刊: 第16回データ工学ワークショップ(DEWS2005)論文集
• 作者: 森 康弘;吉川 正俊;波多野 賢治
• 通讯作者: 波多野 賢治

キーワードを利用したXML文書検索

使用关键字搜索 XML 文档

• 发表时间: 2004
• 期刊: 情報処理学会論文誌:データベース Vol.45,No.SIG7(TOD22)
• 作者: 絹谷 弘子;波多野 賢治;吉川 正俊 植村 俊亮
• 通讯作者: 吉川 正俊 植村 俊亮