関係知識と非定形知識の利用を統合した自然言語読解システムの構築

构建关系型知识与无定形知识相结合的自然语言阅读理解系统

基本信息

批准号：
19J13238
负责人：
鈴木正敏
金额：
$ 1.09万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J13238/
关键词：
自然言語処理知識処理質問応答システム言語モデルクイズ

项目摘要

ユーザの入力する質問に対して適切な答えを出力する質問応答システムは、自然言語処理技術の重要な応用問題として長年の研究が続けられている。近年では、深層学習技術の急速な進展を背景に、自然言語処理の各問題で深層学習を活用した新たな手法が提案されるようになり、質問応答システムの研究においても新たな問題設定や手法が提案されている。研究員は本年度までに、質問応答システムの現代的な2つのアプローチである、与えられる文書を読解することによって質問の答えを導き出す「オープンブック質問応答」と、外部の文書や知識源を参照することなしに言語モデルが保持する知識のみを頼りに質問に答える「クローズドブック質問応答」のそれぞれについて研究を行った。オープンブック質問応答に対しては、従来の問題設定に存在していた「質問は与えられる文書の読解によって必ず解答できる」という仮定が、オープンブック質問応答の性能低下の要因となっていることに着目し、質問の解答可能性の判別を行う文書読解モデルを提案した。提案手法により構築した文章読解モデルを応用することにより、質問応答システムの解答抽出・解答統合の性能が向上することを実験により確認した。クローズドブック質問応答に対しては、既存手法で主流となっていたモデルの大型化に頼らずに、訓練データの工夫・拡張によって質問応答性能の向上を図るデータ指向の手法を提案した。提案手法では、百科事典の文章を利用して訓練データを拡張することにより、言語モデルの質問応答性能の向上を、従来手法よりも大幅に少ないパラメータ数で実現した。この結果は、言語モデルに世界知識（非定型知識）を効率的に持たせる方法について新たな知見をもたらすものである。さらに本年度は、国内における質問応答システムの研究を促進するため、質問応答システムの評価型ワークショップを開催し、研究分野の発展への貢献を行った。

针对用户输入的问题输出适当答案的问答系统作为自然语言处理技术的重要应用问题已经被研究了多年。近年来，随着深度学习技术的快速发展，针对各种自然语言处理问题提出了利用深度学习的新方法，并在问答系统的研究中提出了新的问题设置和方法。到今年，研究人员将研究两种现代的问答系统方法：“开卷问答”，通过阅读给定文档来得出问题的答案，以及“开卷问答”，通过阅读特定文档来得出问题的答案。给定的文档；我们对每种类型的“闭卷问答”进行了研究，其中问题仅依靠语言模型所掌握的知识来回答。关于开卷问答，我们发现传统问题设置中存在的“问题总是可以通过阅读给定文档来回答”的假设是开卷性能下降的一个因素我们专注于这一点，提出了一个确定问题可回答性的文档阅读模型。通过实验证实，应用该方法构建的文本理解模型提高了问答系统的答案提取和答案集成的性能。对于闭卷问答，我们提出了一种面向数据的方法，旨在通过设计和扩展训练数据来提高问答性能，而不依赖于增加模型的大小，这是现有方法的主流。在所提出的方法中，通过使用百科全书文本扩展训练数据，我们能够以比传统方法少得多的参数来提高语言模型的问答性能。这一结果提供了关于如何高效地向语言模型提供世界知识（非典型知识）的新知识。此外，今年，为了促进日本问答系统的研究，我们举办了问答系统评估研讨会，为该研究领域的发展做出了贡献。