An Development of automated short-answer scoring system based on deep learning without using supervised scoring data

基于深度学习的不使用监督评分数据的自动简答评分系统的开发

• 批准号: 20H04300
• 负责人: 石岡 恒憲
• 金额: $ 10.32万
• 依托单位: The National Center for University Entrance Examinations
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H04300/
• 关键词: 自動採点; 自然言語処理; 機械学習; 深層学習; 手書き文字認識; アンサンブル学習

近年、自然言語で記述される文を順番のある時系列データと見なし、時系列データを入力データとして処理するリカレントニューラルネットワークと呼ばれるディープラーニング手法、特にBERTなどのトランスフォーマーの研究が進み、その性能の良さが証明されてきた。そこで平成29年および30年に実施した共通テスト試行調査の計12万件による記述回答データを文字認識から一気通貫でBERTによる自動採点までを行うことを試み、多くの学会で発表した。大学入試センターと農工大の共同研究グループは、通常の採点システムが用いる人手による補助輪をしない実運用で平均96％，最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、機械学習における必要なサンプルサイズについても新たな知見を得た。いままでの研究では学習データに用いるサンプルはせいぜい２千件程度であり、どの程度のサンプルがあれば十分な予測ができるかの目安は与えられていなかった。さらに九大グループでは意味的埋め込みと呼ばれる異なったアプローチによる方法を試みた。これら結果については本科研で3件の学会表彰（１．日本計算機統計学会第35回大会, 学生研究発表賞；２．Duolingo Award for IMPS 2021；３． SMASH22 Winter Symposium,準優秀賞.）を受け、その成果については日本教育新聞や日経新聞に掲載された。千葉大グループも別の方法を試みており、良い結果を得ている。

近年来，称为循环神经网络的深度学习方法的研究取得了进展，该方法将自然语言编写的句子视为有序的时间序列数据，并将时间序列数据作为输入数据进行处理，特别是在 BERT 等 Transformer 上。事实证明是好的。因此，我们尝试处理 2017 年和 2017 年进行的常见测试试验调查中总共 12 万份回复的书面回复数据，从字符识别到使用 BERT 自动评分，并在许多学术会议上展示了结果。大学招生中心和农业科技大学的联合研究小组在实际使用中，在没有传统评分系统中使用的手动辅助轮的情况下，平均一致率达到96%，至少达到93%。此外，通过使用每个问题包含 60,000 个问题的海量数据，我们获得了有关机器学习所需样本量的新知识。在之前的研究中，用作训练数据的样本数量最多在2000个左右，并且没有给出需要多少样本才能做出足够预测的指导方针。此外，九州大学小组尝试了一种称为语义嵌入的不同方法。凭借这些成果，我们的研究所获得了三项学术奖项（1. 日本计算统计学会第35届年会学生研究展示奖；2. IMPS 2021 Duolingo 奖；3. SMASH22 冬季研讨会，二等奖）。研究结果发表在《日本经济新闻》和《日经新闻》上。千叶大学的研究小组也在尝试不同的方法，并取得了良好的效果。

项目成果

AI-based+ Automated Short-answer Scoring System

基于人工智能的自动简答评分系统

• 发表时间: 2020
• 作者: Ishioka;T.
• 通讯作者: T.

Fully automatic scoring of handwritten descriptive answers in Japanese language tests

• 发表时间: 2022
• 期刊: ArXiv
• 作者: Hung Tuan Nguyen;C. Nguyen;Haruki Oka;T. Ishioka;M. Nakagawa

大学入学共通テスト試行調査における記述式問題の自動採点

普通高考模拟题自动评分

• 发表时间: 2021
• 作者: 岡知樹，N.T.Hung;N.TCuong;中川正樹;石岡恒憲
• 通讯作者: 石岡恒憲

Short answer scoring of the trial test for Japanese Common University Entrance Examination,

日本统一大学入学考试简答题评分，

• 发表时间: 2021
• 作者: Oka,H.;Hung,N.T.;Cuong,N.T.;Nakagawa,M.;Ishioka,T.
• 通讯作者: Ishioka,T.

自動採点研究のこれから.「英語教育研究における自動採点 現状と課題」

自动评分研究的未来。“英语教育自动评分研究：现状与挑战”。

• 发表时间: 2020
• 作者: 須藤敬仁;柏原昭博;石岡恒憲 (石井雄隆・近藤悠介(編))
• 通讯作者: 石岡恒憲 (石井雄隆・近藤悠介(編))