Development of a method for synonymous expressions based on annotated predicate-argument graph data and its application to automatic essay scoring

基于注释谓语-论元图数据的同义表达方法的开发及其在自动作文评分中的应用

• 批准号: 22K00530
• 负责人: 竹内 孔一
• 金额: $ 2.25万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K00530/
• 关键词: 小論文; 自動採点; 言い換え; タグ付与; 理解力; 深層学習; 述語項構造; 類義表現; 述語項構造シソーラス; 小論文自動採点; グラフ構造; 概念フレーム

初年度として，日本語小論文データの小論文に対するタグ付与作業の環境の構築，付与するタグの内容の検討，付与するタグの整理，タグ付与作業の実施，および学会での発表を行った．小論文に対する類似部分を複数の作業者で付与して整理するためにWebサーバを利用したタグ付与環境をフリーのツールを利用して構築した．付与するタグの内容について，ルーブリックに記述されている内容を基に小論文の評価に関係する部分を各課題について設定した．小論文評価には評価軸として4種類設定されているが，そのうち「理解力」に集中してタグ付与することを決定した．これは評価軸を絞ることで付与できる小論文数を増やすことと，記述内容に関連した評価軸であるため，言い換えが多く出現することが期待されるためである．各小論文課題について，「理解力」の評価に関係するタグを定義して付与作業を実施して，タグが付与可能かどうか検討した．小論文課題は1つのテーマについて3件課題があり，2名の作業で2テーマで6課題分の小論文(約1200件)に対して付与を実施した．課題ごとにタグの性質が異なるため，付与すべきタグの数と内容が異なる．例えば，「グローバリゼーションの光と影」のテーマにおける問1の課題において付与タグは8種類に設定した．付与タグの特徴として，ルーブリックに指摘している内容が記述されていても，正しくない内容が記載されている場合には「?」など異なるタグを設定した．また，小論文の採点手法に関する開発も進めた．模範答案を利用して採点精度を向上させる手法として機械学習を利用した手法を提案し国際会議で発表した．さらに，他の手法として，採点済みデータを言語生成モデルで拡張して事前学習済みの深層学習モデルで採点する手法を提案して国内の会議で発表した．

第一年，我们构建了一个给日语论文数据添加标签的环境，考虑了要添加标签的内容，组织了要添加的标签，实现了标签工作，并在学术会议上进行了展示。使用免费工具，我们创建了一个标记环境，该环境使用网络服务器允许多个工作人员标记和组织论文的相似部分。关于要添加的标签内容，我们根据评分细则中描述的内容，为每个作业设置了与论文评估相关的部分。论文评估有四种类型的评估轴，但我们决定重点关注“理解”并对其进行标记。这是因为缩小评估标准会增加可分配的论文数量，并且由于评估标准与书面内容相关，因此预计会出现许多释义。对于每一篇论文作业，我们定义并分配了与“理解”评估相关的标签，并检查是否可以分配标签。每个主题有 3 篇论文作业，2 个人将作业分配给 2 个主题的 6 篇论文（约 1200 篇论文）。由于每个问题的标签性质不同，因此应添加的标签数量和内容也会有所不同。例如，对于主题“全球化的光与影”的问题1，分配了八种类型的标签。分配的标签的特征在于，即使描述了标题中指出的内容，如果内容不正确，则设置诸如“？”的不同标签。我们还着手开发论文评分方法。我们提出了一种利用机器学习通过模型答案来提高评分准确性的方法，并在一次国际会议上进行了展示。此外，作为另一种方法，我们提出了一种用语言生成模型增强评分数据并使用预先训练的深度学习模型进行评分的方法，并在日本的一次会议上提出了该方法。

项目成果

Statistical Learning Models for Japanese Essay Scoring Toward One-shot Learning

• DOI: 10.1109/iiaiaai55812.2022.00070
• 发表时间: 2022-07
• 期刊: 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI)
• 作者: Chihiro Ejima;Koichi Takeuchi