Construction of an Evaluation Dataset and Quality Estimation for Neural Language Generation

神经语言生成评估数据集的构建和质量评估

• 批准号: 22H03651
• 负责人: 小町 守
• 金额: $ 11.15万
• 依托单位: Hitotsubashi University (2023)Tokyo Metropolitan University (2022)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03651/
• 关键词: 自然言語処理; 言語生成; 評価; 品質推定; 深層学習; 文法誤り訂正; 機械翻訳; テキスト平易化

本研究では、言語生成の評価のためのデータセットを作成し、解釈性の高い自動評価手法を提案することを目的とします。作成されたテストデータそれぞれは言語モデルの単体テストのためのデータとして用いることができ、継続的インテグレーションを行う際の回帰テストに組み込むことができるようになります。本研究では、サブタスクごとのデータセットの収集・作成とともに、それを用いて自動評価を行う手法の提案を行います。本研究では、言語生成タスクのうち正例と負例を作成しやすい文法誤り訂正と機械翻訳を対象として、それぞれに対して評価用のデータセットおよびそれを用いた評価手法を提案します。文法誤り訂正は文法項目として習得すべき項目を列挙することが可能であり、それらの項目を正しく訂正できているか、という網羅的なチェックリストを作成することが可能です。また、機械翻訳では代表的な評価尺度（MQM, direct assessment 等）が存在するので、それらよりもきめ細かく機械翻訳を評価できる手法を提案します。2022年度は文法誤り訂正について網羅性の高いデータセットを作成する予備実験を行い、利点と欠点、限界について考察しました。機械翻訳では、MQM を用いた単語単位の品質推定の可能性について実験および考察を行いました。また、テキスト平易化の品質推定に向けたデータセットの拡充と、それを用いた品質推定手法の研究を行いました。

本研究的目的是创建一个用于评估语言生成的数据集，并提出一种具有高可解释性的自动评估方法。创建的每个测试数据都可以用作语言模型单元测试的数据，并且可以在执行持续集成时纳入回归测试。在这项研究中，我们将为每个子任务收集并创建一个数据集，并提出一种使用它自动评估它的方法。在这项研究中，我们针对语法错误纠正和机器翻译这些易于创建正例和负例的语言生成任务，并提出了使用它们的评估数据集和评估方法。对于语法错误纠正，可以将应该学习的项目列为语法项目，并且可以创建综合检查表来检查这些项目是否被正确纠正。此外，由于机器翻译有典型的评估量表（MQM、直接评估等），因此我们将提出一种比这些量表更精确地评​​估机器翻译的方法。 2022年，我们进行了初步实验，创建了一个高度全面的语法纠错数据集，并考虑了其优点、缺点和局限性。对于机器翻译，我们进行了实验并讨论了使用 MQM 估计逐字质量的可能性。我们还扩展了文本简化质量估计的数据集，并研究了使用它的质量估计方法。

项目成果

日本語文法誤り訂正コーパスへの誤用タグ付け

日语语法纠错语料库的误用标签

• 发表时间: 2022
• 作者: 小山碧海;喜友名朝視顕;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

ProQE: Proficiency-wise Quality Estimation Dataset for Grammatical Error Correction

ProQE：用于语法错误纠正的熟练程度质量估计数据集

• 发表时间: 2022
• 作者: Yujin Takahashi;Masahiro Kaneko;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi

日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築

构建带有误用标签的评估语料库以纠正日语语法错误

• 发表时间: 2023
• 期刊: 自然言語処理
• 作者: 小山碧海;喜友名朝視顕;小林賢治;新井美桜;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction

日语语法纠错自动评价质量评价数据集的构建

• 发表时间: 2022
• 作者: Daisuke Suzuki;Yujin Takahashi;Ikumi Yamashita;Taichi Aida;Tosho Hirasawa;Michitaka Nakatsuji;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi