日本人英語学習者を対象にした英語要約分析的評価尺度の開発

针对日本英语学习者的英语总结分析评估量表的开发

基本信息

批准号：
22K13174
负责人：
加藤万紀子
金额：
$ 1.58万
依托单位：
Tohoku University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

英語要約ライティングは習得が困難であるためフィードバックを提供できる分析的評価尺度の使用が教育的に適している。しかし、項目評価の信頼性や妥当性、教育現場における実用性等の問題が残されている。本研究は、中上級英語学習者を対象にした先行研究が多かったことにも着目し、英語能力が多様な日本人英語学習者に対応できる英語要約文の分析的評価尺度の開発を目的としている。本科研実施１年目である2022年度は以下２つを実施した。1. 予備研究初中級英語学習者が作成した英語要約文をMain Idea Coverage（適切なメイン・アイディアの選別の有無）、Integration（論理的な情報凝集の有無）、Language Use（文法・語彙の誤用の有無）、Source Use（パラフレーズの有無・内容の正確性）の４項目から成る既存の尺度を用いて３名の評価者が評価を行ったスコアを、多変量一般化可能性理論を用いて、主に評価尺度の妥当性と実用性の検証を行った。その結果、MICとINTはほぼ同じ概念を測定する項目であること、そして実用性および信頼性に関してはLUとSUの評価の信頼性が低く、十分な評価者間の信頼性を確保するためには最低でも４人以上の評価者が必要であるなど残された課題が報告された。２. 評価者訓練および評価者からの評価に関する定量的・定性的データ分析本研究に備え、CEFR A1からC1レベルの日本人英語学習者から２種類の英文テキストの要約文データを収集した。そして、予備研究から得られた分析結果をもとに、母語や英語教授経験年数などが異なる7名の評価者を採用し、評価者訓練を実施した。評価の際には、上記のINT、LU、SUの3つの評価項目を使用し、評価者からは定量的データのほか、インタビューと質問紙を用いて評価が困難な点や分析的評価尺度構築に向けた意見を定性的データとして収集し分析を行った。

由于英语摘要写作很难掌握，因此在教学上使用可以提供反馈的分析评分量表是合适的。然而，项目评价的信度、效度以及教育环境中的实用性等问题仍然存在。本研究还关注了许多先前的研究针对中级和高级英语学习者的事实，旨在开发一个可适用于各种英语水平的日本英语学习者的英语摘要分析评估量表。 2022财年，即该科研项目的第一年，开展了以下两项活动。 1. 初步研究对初中级英语学习者创建的英语摘要句子进行了主要思想覆盖（主要思想的适当选择）、整合（信息的逻辑聚合）和语言使用（语法和词汇的误用）、来源的评估。我们主要使用由四个项目组成的现有量表来评估三位评分者评估的分数：使用多元概括性理论验证量表的有效性和实用性。结果，我们发现MIC和INT是衡量几乎相同概念的项目，而LU和SU评级在效用和可靠性方面的可靠性较低，并且难以确保足够的评估者间可靠性。据报道，例如需要至少四名评估员。 2. 有关评估员培训和评估员评估的定量和定性数据分析在准备本研究时，我们收集了来自 CEFR A1 至 C1 级别的日本英语学习者的两种类型的英语文本的摘要。根据前期研究得出的分析结果，我们聘请了七名不同母语、具有多年英语教学经验的评估员，并进行了评估员培训。评估过程中，采用了上述三个评估项目INT、LU、SU，除了定量数据外，评估者还利用访谈和问卷的方式来澄清难以评估的点，并构建分析性评估量表。收集并分析意见作为定性数据。

项目成果

期刊论文数量（3）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Examining the Dependability and Practicality of Analytic Rubric of Summary Writing Using Multivariate Generalizability Theory: Focusing on Japanese University Students with Lower-Intermediate Proficiency in English

用多元泛化理论检验摘要写作分析量规的可靠性和实用性——以英语中低水平的日本大学生为中心

DOI：
10.5539/elt.v15n9p82
发表时间：
2022
期刊：
English Language Teaching
影响因子：
0
作者：
Xethakis;L;& Rupp;M.;単艾テイ;単艾テイ;単艾テイ;Richard Miles;Richard Miles;Richard Miles;Makiko Kato
通讯作者：
Makiko Kato

Investigation of Diverse Raters' Awareness and Strategy Use in Assessing Summary

评估摘要中不同评估者意识和策略使用的调查