常識推論に基づく自然言語の文脈理解への挑戦

基于常识推理理解自然语言上下文的挑战

• 批准号: 18J20936
• 负责人: 高橋 諒
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20936/
• 关键词: 自然言語処理; 表現学習; 知識ベース; 機械学習

本研究課題の目的は、計算機による省略・照応解析の実現のために、「常識的知識をどのように汎化するべきか」を明らかにすることであった。本年度は、その問いに対する一つの解決策と、その詳細な分析を与えた。記号的な知識と自然言語で記述された知識を統合し、計算機による意味の計算のために汎化する一つの方法は、ベクトルで表されたそそれぞれの知識を同一のベクトル空間に配置することである。このアプローチをここではUGE (Universal Graph Embedding)と呼ぶことにする。 UGE は知識ベースの埋め込みを大量の生テキストから効果的に学習できる上に、知識ベースにおける構成的な推論を高速に行える可能性をもつ。しかしながら、UGEに取り組んだ先行研究はToutanovaら (2015) 唯一であり、UGEがもつ発展性に関する議論は依然として進められていない。本年度はUGEへの洞察を深めることを目的として、UGEの3つの主要な課題：(1)学習戦略、(2)関係パスへの拡張、(3)事前学習済み言語モデルとの統合に取り組んだ。生物医学分野の知識ベースと文献データベースをもとにデータセットを構築し、これら3つの課題について実験的に検討を行った。実験は、大規模な計算機リソースを活かしたパラメータ探索から、ベクトル空間の定性的な性質を確かめるための深い分析まで及んでいる。例えば、知識ベースの関係知識とテキストから抽出した関係知識のベクトルが学習中にどのようにベクトル空間を移動するかをアニメーションによって可視化した。この可視化によって、知識ベースとテキストの異なる性質のベクトルを同じ空間に埋め込む際には異なる学習率を設定することが肝要であるなど、知識ベースの埋め込みにおいて複数の重要な知見を見出した。

该研究项目的目的是阐明“应该如何概括常识知识”，以实现基于计算机的缩写和照应分析。今年，我们针对这个问题给出了解答，并进行了详细的分析。整合符号知识和自然语言编写的知识并将其推广到计算机的意义计算的一种方法是将向量表示的每条知识放在同一个向量空间中。我们将这种方法称为 UGE（通用图嵌入）。 UGE可以有效地从大量原始文本中学习知识库嵌入，并具有高速对知识库进行建设性推理的潜力。然而，Toutanova 等人（2015）是之前唯一解决 UGE 问题的研究，并且关于 UGE 可扩展性的讨论仍然没有进展。今年，为了加深对 UGE 的理解，我们解决了 UGE 的三个主要问题：（1）学习策略，（2）关系路径的扩展，以及（3）与预训练语言模型的集成。我们基于生物医学领域的知识库和文献数据库构建了数据集，并对这三个问题进行了实验研究。实验范围从利用大规模计算机资源的参数搜索到深入分析以确认向量空间的定性特性。例如，我们使用动画来可视化学习过程中知识库中的关系知识以及从文本中提取的关系知识的向量如何在向量空间中移动。通过这种可视化，我们发现了知识库嵌入的几个重要发现，例如在知识库中嵌入具有不同属性的向量和同一空间中的文本时设置不同学习率的重要性。