Building a Commonsense Reasoning Model Considering Inference Process on Event Relational Knowledge

考虑事件关系知识的推理过程构建常识推理模型

基本信息

批准号：
22KJ1921
负责人：
大村和正
金额：
$ 1.09万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1921/
关键词：
自然言語処理常識推論自然言語理解談話関係解析

项目摘要

深層学習の発展に伴い，計算機の自然言語処理能力は長足の進歩を遂げているが，計算機による常識推論は未だ困難であることが報告されている．本研究では，常識推論の中でも基本的な事態間の蓋然的関係(ある程度続けて起こりうる/真である事態間の関係)を推論する能力(以降，常識推論能力と呼ぶ)に焦点を当て，この改善とさらなる言語理解力の評価・改善を目標に手法の検討を進めている．本年度は，生のテキストデータから常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むことによる常識推論能力の改善を試みた．また，常識推論問題および疑似問題からの転移学習による関連タスクへの効果を定量的に評価し，自然言語理解における蓋然的関係を推論する能力の重要性を検証した．実験の結果，常識推論問題および疑似問題を通して蓋然的関係に関する知識を大規模に学習することで，常識推論タスクおよび関連タスクにおいて全体的な改善が見られることを確認した．これは，自然言語理解における蓋然的関係を推論する能力の重要性を示唆していると考えられる．また，当初の研究計画では翌年度に事態間の蓋然的関係の推論過程を問う言語資源の構築を目標としていたため，翌年度の研究遂行に向けて，近年登場した大規模言語モデルに対して事態間の蓋然的関係の推論過程を問う予備実験を行った．実験の結果，大規模言語モデルは概ね妥当な推論過程を生成できる傾向が確認された．このため，翌年度は推論過程を問う方針で進めるのではなく，談話関係全般の推論能力の評価・改善を目標として研究を進める予定である．

随着深度学习的发展，计算机的自然语言处理能力取得了长足的进步，但据报道，计算机进行常识推理仍然很困难。在本研究中，我们关注的是常识推理中基础的推理能力（以下简称常识推理能力）。我们目前正在研究方法，旨在改进这一点并进一步评估和提高语言理解能力。今年，我们尝试通过从原始文本数据自动生成大规模模仿常识推理问题的伪问题并将其合并到训练过程中来提高常识推理能力。我们还定量评估了常识推理问题和伪问题的迁移学习对相关任务的影响，并验证了推断概率关系的能力在自然语言理解中的重要性。实验结果表明，通过常识推理问题和伪问题大规模学习有关概率关系的知识，常识推理任务和相关任务得到了整体提升。这似乎表明了推断概率关系的能力在自然语言理解中的重要性。另外，由于最初的研究计划是为了在明年建立质疑情境之间可能关系的推理过程的语言资源，所以明年我们将利用近年来出现的大规模语言模型来开展研究我们进行了初步实验来质疑情境之间可能关系的推理过程。实验结果证实，大规模语言模型往往能够生成普遍有效的推理过程。因此，明年我们计划继续以评估和提高一般话语关系的推理能力为目标的研究，而不是继续质疑推理过程的政策。