英語初級学習者のパラグラフ・ライティング評価基準の確立と自動評価モデルの開発

初级英语学习者段落写作评价标准的建立及自动评价模型的开发

基本信息

批准号：
22K00808
负责人：
三田薫
金额：
$ 2.66万
依托单位：
Jissen Women's Junior College
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

日本人学生の英作文力不足は、学生が自分の考えを英語で書く機会が少ないことが要因となっている。英文を書く機会が少ない理由の1つは、英語初級学習者向けエッセイ評価基準が確立しておらず、教員の採点負担が大きいことにある。本研究の目的は英文エッセイの「内容の質」に関する評価基準を確立すること、また学生の英文エッセイと教師評価のデータを人工知能に学習させることにより「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」を開発することである。本研究では第一に日本人の英語初級学習者の英文エッセイの「内容の質」を測定する評価基準の確立を試みた。エッセイ1本について4段階の基準を含む「分析評価」と、エッセイの良し悪しの印象による4段階の「全体評価」を複数の評価者が行った。両評価の相関分析により「分析評価」の信頼性、妥当性の確立を目指した。もう1つの試みとして、過去の授業における学生の事前事後の英文データと教師による分析評価を人工知能に学習させ、「英語初級学習者のためのパラグラフ・ライティング自動評価モデル」のデモ版を開発した。このモデルを2022年度授業で学生に使用させ、自動評価モデルの評価と教員評価の一致率を調べた。また学生に自動評価モデルの利用に関するアンケートを行い、その結果を分析した。この自動評価モデルの精度を高め、将来的に公開することにより、英文ライティングの採点の効率化と教員の負担軽減、英文ライティング教育促進の一助となることを目指している。

日本学生缺乏英语写作能力是因为他们很少有机会用英语表达自己的想法。英语写作机会如此之少的原因之一是，针对初级英语学习者的论文评价标准尚未建立，老师的评分负担过重。本研究的目的是建立英语论文“内容质量”的评估标准，并利用人工智能从学生的英语论文和教师评价中学习数据，旨在开发一种自动评估模型。在这项研究中，我们首先尝试建立评估标准来衡量日本初学者英语学习者撰写的英语论文的“内容质量”。多名评估员对每篇论文进行了“分析评估”，其中包括四个级别的标准，以及基于他们对论文质量的印象的四个级别的“总体评估”。我们的目的是通过对两项评估的相关性分析来确定“分析评估”的可靠性和有效性。在另一项尝试中，我们通过利用过去课程的学生课前和课后英语写作数据以及教师的分析评估来训练人工智能，开发了“针对初级英语学习者的段落写作自动评估模型”的演示版本。该模型在2022年的班级中被学生使用，考察了自动评价模型的评价与教师评价的一致率。我们还对学生进行了有关自动评估模型使用情况的调查，并对结果进行了分析。通过提高这一自动评价模型的准确性，并在未来将其公开，我们的目标是提高英语写作评分的效率，减轻教师的负担，并有助于促进英语写作教育。