Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence

通过融合计算和人类智能构建通用语言理解基础设施

基本信息

批准号：
21H04901
负责人：
河原大輔
金额：
$ 26.62万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-05 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04901/
关键词：
言語理解転移学習言語知識説明性基盤モデル深層学習

项目摘要

2022年度は以下の4つの研究項目について研究を行った。「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。

2022年，我们开展了以下四个研究项目的研究。在“人类智能的设计与构建”（研究项目1）和“计算智能的设计与构建”（研究项目2）中，我们设计了一种将人类知识的字典与基于计算智能的方法相结合的方法。并将其应用于形态分析任务。该方法学习输入句子中的每个字符是否与字典匹配作为嵌入向量并将其添加到输入中。通过实验，我们证实根据词典的类型可以提高准确性。此外，我们还发布了自 2021 年以来不断打造的日本 RoBERTa 模型的大尺寸。 “构建计算/人类智能融合模型以实现类似于人类的文本理解”（研究项目3）涉及使用自然语言推理（NLI）数据微调预训练的语言模型并获得句子向量。，比较了使用日语词典中的定义句子进行微调得到的句子向量，发现后者更擅长识别表面上不相似的句子对之间的语义关系，揭示了它们的属性存在差异。我们还表明，通过整合两者可以提高句子向量的性能。 “建立一种解释计算智能/人类智能融合模型处理过程的方法”（研究项目4）旨在通过向巨型语言模型提供适当的示例，利用思维链能力来解决问题。事实上，之前的研究表明这个问题有可能得到解决。我们对这个思维链的能力进行了更深入的检查，发现这个思维链不再发挥作用，特别是当使用带有负面含义的词语时。此外，在此过程中，我们设计了一种方法来适当研究语言模型的推理过程。除此之外，我们还全面研究了保真度评估的现状，这是评估神经网络可解释性的标准，并为语言处理任务中的保真度评估提供了指导。