大規模Web情報の検索アルゴリズムに関する研究

大规模网络信息搜索算法研究

基本信息

批准号：
08J08116
负责人：
矢田晋
金额：
$ 1.02万
依托单位：
The University of Tokushima
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2008
资助国家：
日本
起止时间：
2008 至 2009
项目状态：
已结题

项目摘要

大規模n-gramデータは,機械翻訳やかな漢字変換に用いる言語モデルの構築や,構文・共起に基づく言語知識の獲得などに有用である.しかし,気軽に利用するには規模が大きすぎるという難点があり,少数の研究において利用される程度にとどまっている.そこで,本研究では,大規模n-gramデータ用の検索システムを開発した.本システムは,導入が容易であり,Webブラウザからの検索もサポートすることで,データの利用にかかる負担を大幅に軽減している.これまでに,言語知識の獲得において,いくつかの成果を上げている.前年度に作成を開始したWebコーパスについては,規模の拡大により,データベースのサイズで約1.8TB,HTML文書の数で約6000万件という規模になっている.本コーパスは,上述した大規模n-gramデータの構築や,検索システムのテストに利用されている.また,近年になって盛んに研究がおこなわれている,大規模コーパスを前提とする言語処理への利用も進めている.辞書の構成法に関する研究では,簡潔データ構造とよばれるコンパクトなデータ構造の利用により,語彙数が10億件を超える極めて大規模な辞書を構築できることが確認された.また,各種データ構造の比較により,それぞれの利点や欠点が明らかとなり,用途による使い分けの指標となる情報が得られた.さらに,辞書に登録されている語を入力の候補として,優先順位にしたがって入力を補完する手法を新たに提案した.提案手法を用いると,候補が多い状況でも短時間で入力を補完できるため,より応答性の高いインタフェースを提供できる.

大规模的n-gram数据对于构建机器翻译和汉字转换的语言模型以及基于语法和共现的语言知识很有用。但是，据说规模太大，不适合随意使用。由于其缺点，它仅在少数研究中使用，因此，在本研究中，我们开发了一种针对大规模 n-gram 数据的搜索系统。它还支持从网络浏览器中进行搜索，这大大减轻了数据使用的负担。到目前为止，我们在获取语言知识方面取得了一些成果。去年创建的网络语料库已扩展到数据库大小。大约 1.8 TB，HTML 文档数量大约为 6000 万个。它用于构建大规模的n-gram数据和测试搜索系统。它也被用于基于大规模语料库的语言处理，近年来对如何构建词典的研究已经证实。通过使用一种称为简洁数据结构的紧凑数据结构，可以构建包含超过 10 亿个词汇项的极大字典。此外，通过比较各种数据结构，阐明了每种数据结构的优缺点，并获得了可用作不同用途索引的信息。此外，将词典中注册的单词用作输入候选，并确定优先级我们提出了一种新的方法来完成输入，如下所示。使用所提出的方法，即使在有很多候选者的情况下也可以在短时间内完成输入，从而可以提供更灵敏的界面。