グローバル人材の会話力を短時間で評価する対話型スピーキングテストシステムの開発

开发快速评估全球人力资源会话能力的交互式口语测试系统

• 批准号: 21K00668
• 负责人: 藤田 智子
• 金额: $ 1.41万
• 依托单位: Momoyama Gakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K00668/
• 关键词: 英語スピーキング能力; 評価方法; 機械と人による採点; 発語数; 大量受験者の同時受験; 音声自動入力システム; グローバル人材; テストタスク; 英語スピーキング能力の」評価; 対話型スピーキングテスト; 機械採点; グループオーラルテスト; 大学入学試験; スピーキングテスト評価基準; 大量受験者同時評価; スピーキングテスト; 内容言語統合型学習（CLIL）; 対話型テスト

主観が入りやすいスピーキングテストの評価には、トレーニングを受けた複数の評価者が共通のルーブリックを使って実施するのが普通である。しかし、これには非常に時間がかかり多数の受験者を同時に評価するのは難しい。大学の全学必須英語スピーキングコースでは、自分の担当クラスの学生の評価を1人の教員が実施することが一般的であるが、評価者による差が大きく信頼性が非常に低くなる可能性指摘されている（Fujita, et.al. 2012）。ここ約10年でスピーキングテストの（機械）自動採点技術が急速に進歩しているが、TOEFLスピーキングテストでも未だに完全に自動採点のみで評価結果を出すまでには未だ至っていない（Davis＆Papageorgiou, 2022）。また、自動採点をするには産出されたスピーキングの長さが短い（150語以下/1分）場合は評価し難いと言われており、中級以下の学習者への実用化にはさらに時間がかかると考えている。そこで、担当教員が1人でスピーキング能力を評価するとき、発話数などの客観的なデータとともに発話を書きおこした原稿が評価の手がかりとなり、信頼性が少しでも高くなるかどうかを検証するためにスピーキングテストの予備テストを実施して評価する構想を進めている。このテストは音声自動入力ができるアプリを使用して、被験者が入力した音声とそれを書きおこした原稿を評価者が同時に受け取ることができるシステムである。予備実験として、評価者が①音声のみで評価する場合と、②音声と書きおこし原稿の両方で評価する場合を比較する予定である。これについては数人の被験者による本テストのデモンストレーションを実施したところである。

多个受过训练的评估者通常使用常见的专栏评估主观且易于理解的口语测试很常见。但是，这需要很长时间，并且很难同时评估大量候选人。在大学范围内的大学所需的英语课程中，一位教师在自己的班级中进行评估是很常见的，但是有人指出，评估人员之间的差异可能很大，可靠性可能非常低（Fujita，Et.Al，2012年）。尽管在过去的十年中，用于口语测试的自动（机器）评分技术一直在迅速发展，但TOEFL口语测试尚未达到仅使用自动评分获得评估结果的地步（Davis＆Papageorgiou，2022年）。据说，如果产生的语音长度短（少于150个单词/分钟），很难评估自动评分，我们认为将其付诸实践需要更长的时间。因此，当负责的讲师仅评估说话能力时，通过编写语音以及客观数据（例如演讲数量）的手稿是评估的线索，并计划对口语测试进行初步测试，以验证可靠性是否略高。该测试是一个允许评估器同时通过主题接收音频输入的系统，以及使用可以自动输入音频的应用程序编写的手稿。作为初步实验，我们计划比较评估者评估1）仅使用音频和2）使用音频和书面手稿的情况进行比较。该测试由几个受试者证明。