データベース照合に基づくテキスト・エンティティの同定に関する研究

基于数据库匹配的文本实体识别研究

• 批准号: 17650035
• 负责人: 相澤 彰子
• 金额: $ 2.24万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17650035/
• 关键词: エンティティ同定; レコードリンケージ; データクリーニング; 大規模データベース; 情報リンケージ; 書誌同定; データベース統合; サフィックスアレイ

本研究では、テキスト中に出現する特定の「エンティティ」(実世界の実在物)に関する記述を、データベース上で一元的に管理されている「レコード」に対応づけるためのエンティティ同定処理技術を研究した。特に大規模なエンティティ同定問題に特徴的な検討課題として、(i)同定候補の高速な数え上げ手法の提案、(ii)機械学習の効果的な適用、の2点に焦点をあてて検討を行った。ここで、(i)は、何千万という候補に対して1つ1つ同定のための比較関数を適用することは不可能であることから、(ii)は、言語や領域に固有の知識の実装コストを低減し同定システムの汎用性を高めるために、エンティティ同定には必須の要素技術である。これに基づき本研究においては、(i)サフィックスアレイと呼ばれるデータ構造を利用した高速数え上げ処理手法と、(ii)(i)の結果に機械学習を適用することによる同定ルールの自動獲得法および分野に特化した辞書の自動生成手法を提案した。また、論文データベースおよび図書目録を対象として、実際に数百〜数千万レコード規模のデータベースに提案手法を適用して、異なるデータベース間の統合や引用と書誌データベースの同定問題等における有効性を実証的に示した。当該分野における従来技術は主に、情報検索や機械学習の分野における既存アプローチの応用事例的な色彩が強い。これに対して本研究は、レコードやエンティティの同定問題を、「テキストを現実世界のモノに対応づけるための基盤的な技術」と捉えた点が特徴的であり、今後は適用範囲を広げ、汎用的なテキストのリンケージ技術として発展させたい。

在这项研究中，我们研究了实体识别处理技术，以绘制出现在文本中的特定“实体”（现实世界真实对象）的描述，这些描述是在数据库中进行集中管理的“记录”。我们专注于两个特别特征的大型实体识别问题的问题：（i）一种快速计数方法来识别候选人的建议，以及（ii）有效应用机器学习。在这里，（i）是实体识别的必要元素技术，以降低语言和特定于领域的知识的实施成本并提高识别系统的多功能性，因为不可能为每种标识的比较功能应用于数以百万计的候选人。基于此，在这项研究中，我们提出了（i）使用称为后缀阵列的数据结构的高速计数处理方法，以及（ii）一种自动方法，通过将机器学习应用于（i）的结果和一种专门从事该领域的自动词典生成方法来获得识别规则。此外，关于纸质数据库和书目目录，将所提出的方法应用于具有数百万至数千万记录的数据库，并经验证明了其在不同数据库之间的整合以及引文和书目数据库的识别中的有效性。该领域的先前艺术主要基于信息检索和机器学习领域现有方法的应用示例。相比之下，这项研究的特征是将记录和实体识别为“将文本与现实世界相关联的基本技术”的问题，将来我们希望扩大其应用程序的范围并将其作为通用文本链接技术发展。

项目成果

土木関連用語辞典の見出し語の分析と検索システムにおける活用に関する考察

土木工程相关术语词典中的词条分析及其在搜索系统中的使用考虑

• 发表时间: 2005
• 期刊: 情報処理学会研究会報告 2005-FI-80
• 作者: 相澤彰子;野末道子;今尚之;坂本真至;中渡瀬秀一
• 通讯作者: 中渡瀬秀一

大規模異種データベース間でのレコード同定手法とその適用例

大规模异构数据库中的记录识别方法及其应用实例

• 发表时间: 2006
• 期刊: 大規模データ・リンケージ、データマイニングと統計手法予稿集
• 作者: M.Ohira;K.Nakakoji;K.Matsumoto;渡辺 俊貴 他;木戸 裕樹 他;木戸 裕樹 他;相澤彰子
• 通讯作者: 相澤彰子

A Fast Linkage Detection Scheme for Multi-Source Information Integration

• DOI: 10.1109/wiri.2005.2
• 发表时间: 2005-04
• 期刊: International Workshop on Challenges in Web Information Retrieval and Integration
• 作者: Akiko Aizawa;K. Oyama

テキストコーパスからの上下関係抽出

从文本语料库中提取层次关系

• 发表时间: 2005
• 期刊: 第4回情報科学技術フォーラム講演論文集
• 作者: 中渡瀬秀一;相澤彰子
• 通讯作者: 相澤彰子