Construction of an Evaluation Dataset and Quality Estimation for Neural Language Generation

神经语言生成评估数据集的构建和质量评估

• 批准号: 22H03651
• 负责人: 小町 守
• 金额: $ 11.15万
• 依托单位: Hitotsubashi University (2023)Tokyo Metropolitan University (2022)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03651/
• 关键词: 自然言語処理; 言語生成; 評価; 品質推定; 深層学習; 文法誤り訂正; 機械翻訳; テキスト平易化

本研究では、言語生成の評価のためのデータセットを作成し、解釈性の高い自動評価手法を提案することを目的とします。作成されたテストデータそれぞれは言語モデルの単体テストのためのデータとして用いることができ、継続的インテグレーションを行う際の回帰テストに組み込むことができるようになります。本研究では、サブタスクごとのデータセットの収集・作成とともに、それを用いて自動評価を行う手法の提案を行います。本研究では、言語生成タスクのうち正例と負例を作成しやすい文法誤り訂正と機械翻訳を対象として、それぞれに対して評価用のデータセットおよびそれを用いた評価手法を提案します。文法誤り訂正は文法項目として習得すべき項目を列挙することが可能であり、それらの項目を正しく訂正できているか、という網羅的なチェックリストを作成することが可能です。また、機械翻訳では代表的な評価尺度（MQM, direct assessment 等）が存在するので、それらよりもきめ細かく機械翻訳を評価できる手法を提案します。2022年度は文法誤り訂正について網羅性の高いデータセットを作成する予備実験を行い、利点と欠点、限界について考察しました。機械翻訳では、MQM を用いた単語単位の品質推定の可能性について実験および考察を行いました。また、テキスト平易化の品質推定に向けたデータセットの拡充と、それを用いた品質推定手法の研究を行いました。

这项研究旨在创建一个数据集来评估语言生成，并提出一种高度可解释的自动化评估方法。每个创建的测试数据都可以用作语言模型的单元测试，并且可以在执行连续集成时将其纳入回归测试中。在这项研究中，我们将为每个子任务收集并创建数据集，并提出一种自动评估它们的方法。在这项研究中，我们提出了一个用于评估的数据集，并使用这些数据集提出了一种评估方法，以语法误差校正和机器翻译为目标，这使得在语言生成任务之间创建正面和负面示例变得容易。语法误差校正可用于列出应作为语法项目获取的项目，并且可以创建详尽的清单以确定是否正确纠正了这些项目。此外，由于机器翻译有代表性评估量表（MQM，直接评估等），因此我们提出了一种方法，使您可以比这些方法更详细地评估机器翻译。在2022年，我们进行了初步实验，以创建一个高度全面的语法误差校正数据集，并检查了其优势，缺点和局限性。在机器翻译中，我们对使用MQM估算单词质量的可能性进行了实验和考虑。我们还扩展了数据集以估计文本质量的质量，并使用这些数据集研究了质量估计方法。

项目成果

日本語文法誤り訂正コーパスへの誤用タグ付け

日语语法纠错语料库的误用标签

• 发表时间: 2022
• 作者: 小山碧海;喜友名朝視顕;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

ProQE: Proficiency-wise Quality Estimation Dataset for Grammatical Error Correction

ProQE：用于语法错误纠正的熟练程度质量估计数据集

• 发表时间: 2022
• 作者: Yujin Takahashi;Masahiro Kaneko;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi

日本語文法誤り訂正のための誤用タグ付き評価コーパスの構築

构建带有误用标签的评估语料库以纠正日语语法错误

• 发表时间: 2023
• 期刊: 自然言語処理
• 作者: 小山碧海;喜友名朝視顕;小林賢治;新井美桜;三田雅人;岡照晃;小町守
• 通讯作者: 小町守

Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction

日语语法纠错自动评价质量评价数据集的构建

• 发表时间: 2022
• 作者: Daisuke Suzuki;Yujin Takahashi;Ikumi Yamashita;Taichi Aida;Tosho Hirasawa;Michitaka Nakatsuji;Masato Mita;Mamoru Komachi
• 通讯作者: Mamoru Komachi