Test analysis methodology connecting classical test theory and item response theory

连接经典测试理论和项目反应理论的测试分析方法

基本信息

批准号：
22K18633
负责人：
堀玄
金额：
$ 3.99万
依托单位：
Asia University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Exploratory)
财政年份：
2022
资助国家：
日本
起止时间：
2022-06-30 至 2025-03-31
项目状态：
未结题

项目摘要

テストの分析手法には、大きく分けてCTT（Classical Test Theory; 古典的テスト理論）と、その後考案されたIRT（Item Response Theory; 項目反応理論）の二つがあり、それぞれに長所と短所がある。IRTは、受験者集団と設問に依存しない分析ができる点が長所であるが、分析には多数の受験者が必要であり、また専用ソフトが必要となるため、主に大規模テストで用いられ、学校などのクラス規模のテストではCTTが使われることが多い。IRTでは、各設問の項目特性曲線（ICC）を利用して尺度推定（採点）や等化（受験者集団・設問が異なるテスト結果の比較）を行う。CTTにおいてICCに対応する設問正答率分析図は、受験者を合計点順におおよそ人数が等しい群に分け、設問の各群における正答率を折れ線グラフで表す。本研究の研究者らは、設問正答率分析図の描き方を修正し、各群を表す点の横座標でIRTの能力尺度（学力）の各群の平均を表し、縦座標で正答率を表すことにより、ICCと同一の座標軸上でICCを近似する方法を提案した。項目特性曲線の代わりに修正した設問正答率分析図を利用して尺度推定や等化を行うことにより、集団依存性と設問依存性がなく少人数の受験者集団でも安定して分析可能なテスト分析手法を開発する。また、設問正答率分析図を利用した等化について、等パーセンタイル法を用いる等化が最も適切であることを明らかにした。

测试分析方法主要有两类：CTT（经典测试理论）和后来提出的IRT（项目反应理论），每种方法都有其优点和缺点。 IRT的优点是能够独立于考生群体和问题进行分析，但它主要用于大规模测试，因为它需要大量的考生和专用软件，CTT通常用于全班测试。学校。 IRT利用每道题的项目特征曲线（ICC）进行量表估计（评分）和均衡（不同考生和题目的测试结果比较）。 CTT中ICC对应的题目正确答案率分析图，按照总分顺序将考生分成人数大致相等的组，并以折线图的形式展示每组题目的正确答案率。本研究的研究人员修改了问题正确答案率分析图的绘制方式，代表各组的点的横坐标代表IRT能力量表（学术能力）上各组的平均值，纵坐标代表正确答案我们提出了一种通过表示在与 ICC 相同的坐标轴上近似 ICC 的方法。通过使用修改后的问题正确答案率分析图而不是项目特征曲线来进行量表估计和均衡，该测试没有群体依赖性和问题依赖性，即使是一小群考生也可以稳定地进行分析。此外，关于使用问题正确答案率分析图的均衡化，可知使用等百分位数法的均衡化是最合适的。