テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

文本的数学建模以及通过数学模型阐明文本独特性的挑战

基本信息

批准号：
20J22697
负责人：
栗林樹生
金额：
$ 1.79万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2023-03-31
项目状态：
已结题

项目摘要

昨年度に引き続き，ヒトがテクストを読む際の逐次的処理のモデルについて,自然言語処理分野の技術を活用して探求した．昨年度の研究では，工学的に用いられる大規模言語モデルとヒトの文処理の間に乖離を確認していた．今年度は，心理言語学分野の知見と紐付けながら，この乖離を埋める方法について調査した．本課題について一定の知見が得られており，おおむね順調に研究が進んでいる．当初の計画では，テクスト（複数の文からなる文章）レベルの処理について焦点を当てる予定であったが，その手前の段階として一文ごとの処理に着目した場合にも，ヒトと工学的モデルの間で乖離が生じることが分かった．これを踏まえ，今年度は文レベルの処理に重きをおいた研究となった．並行して文章レベルの処理についても，主題化や省略といった観点について，ヒトと言語モデルの振る舞いを対照させる分析を行ってきた．今年度の研究成果については国内最大規模の学会（自然言語処理学会第28回年次大会）で発表した．今後さらに国際学会への投稿も予定している．また，昨年度の研究成果について当該分野で最も権威ある国際学会（ACL2021）で発表を行った．これらの研究は，心理言語学的な視点からは，ヒトの言語処理の数理的モデルの解明と位置づけられる一方，工学的な視点からはブラックボックスな機械の言語処理の機序を，ヒトと照らし合わせて分析する営みとも捉えられる．工学的な言語処理モデルの分析に関連して，大規模言語モデルをホワイトボックス化する研究や，これらのモデルの説明性を向上させる研究にも共著者として関わった（TACL2021，EMNLP2021，自然言語処理学会第28回年次大会受賞）．

从去年开始，我们探讨了在人类使用自然语言处理领域读取文本的顺序处理模型。去年的研究证实了大型工程语言模型与人类句子处理之间的差异。今年，我们研究了如何填补这一空白，将其与心理语言学领域的知识联系起来。在这个问题上已经获得了一定数量的知识，研究的进展总体稳定。最初的计划是专注于文本级处理（单句）；但是，发现即使专注于句子处理作为阶段之前，人类与工程模型之间也存在差异。考虑到这一点，今年的研究重点是句子级处理。同时，我们还进行了分析，以将人和语言模型的行为与主观和省略的主观过程进行对比。今年的研究结果是在日本最大的学术会议上介绍的（自然语言处理协会的第28届年会）。我们计划将来向国际学术会议提交更多意见。此外，去年的研究结果是在最享有声望的国际科学学会（ACL2021）中提出的，该学会是该领域最权威的。从心理语言学的角度来看，这些研究可以被视为阐明人类语言处理的数学模型，而从工程的角度来看，它们也可以看作是分析黑盒机器中与人类相比的语言处理机制的活性。关于对工程语言处理模型的分析，他还参与了与白色框大规模语言模型并改善这些模型的解释性的研究（TACL2021，EMNLP2021，并授予了第28届自然语言处理年度会议）。