英語論文執筆における推敲過程の数理的モデリング

英语论文撰写过程的数学建模

基本信息

批准号：
21J14152
负责人：
伊藤拓海
金额：
$ 0.96万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

项目摘要

本年度は、昨年度に引き続き非英語母語話者が言語生成モデルを搭載した執筆支援システムをどのように利用するかを調査した。具体的には、非英語母語話者がどのように執筆し、どのようにモデルの出力を評価するか、また、どういった要因がシステムの印象形成につながるかを調べた。これらの研究成果をまとめ国際学会に投稿中である。先の非英語母語話者の執筆支援システムの利用を調査したところ、多くの非英語母語話者は機械翻訳による逆翻訳や辞書などを使用しながらシステムの出力を評価していることがわかった。非英語母語話者がシステムの出力の評価に苦労していることが示唆される。そこで、本年度は、非英語母語話者の出力選択を支援するため、テキスト自動品質評価に関する研究を行った。特に、「参照なし手法」と呼ばれるアプローチに焦点を当てた。まず、参照なし手法に関して包括的なサーベイを行った。そのサーベイの結果をまとめ、サーベイ論文を執筆し、国際論文誌に投稿中である。サーベイを行うことで、頑健性が参照なし評価指標の課題の一つであることがわかった。参照なし評価指標の多くは、ニューラルベースの教師あり評価指標である。特に、人がアノテーションした評価スコアを教師に評価指標を学習する。そのため、機械学習一般の課題でもあるが、学習データのドメイン外のデータに対して適用すると性能が落ちる可能性が高い。そのため、まずは評価事例がドメイン外かどうかを検出する手法を検討した。本研究の成果をまとめ、言語処理学会第29回年次大会に投稿し、若手奨励受賞した。さらに、参照なし評価指標を用いて複数のモデルの出力から良い出力を選択するという研究にも、共著者として関わり、言語処理学会第29回年次大会にて賞を受賞した。

今年，继去年之后，我们调查了非英语母语人士如何使用配备语言生成模型的写作支持系统。具体来说，我们调查了非英语母语人士如何写作、他们如何评估模型的输出以及哪些因素导致了系统印象的形成。这些研究的结果正在总结并提交给国际学术会议。当我们调查非英语母语人士对写作支持系统的使用情况时，我们发现许多非英语母语人士在使用机器翻译或词典进行反向翻译时评估系统的输出。这表明非英语母语人士很难评估系统的输出。因此，今年我们进行了自动文本质量评估的研究，以支持非英语母语人士的输出选择。我们特别关注一种称为“无参考方法”的方法。首先，我们对无参考方法进行了全面调查。我们总结了调查结果，撰写了调查论文，目前正在将其提交给国际期刊。通过调查，我们发现稳健性是无参考评估指标的挑战之一。许多未引用的指标是基于神经的监督指标。特别地，评估指标是使用人类作为教师标注的评估分数来学习的。因此，虽然这通常是机器学习的一个问题，但如果应用于学习数据域之外的数据，性能很可能会下降。因此，我们首先考虑一种检测评估示例是否在域外的方法。我们总结了这项研究的结果，并将其提交给语言处理学会第29届年会，并获得了青年科学家鼓励奖。此外，他还作为合著者参与了使用未参考的评估指标从多个模型的输出中选择良好输出的研究，并因此在语言处理学会第 29 届年会上获奖。