測定精度の向上のための等質適応型テストの提案

提出同质自适应测试以提高测量精度

基本信息

批准号：
21K12170
负责人：
宮澤芳光
金额：
$ 2.66万
依托单位：
The National Center for University Entrance Examinations
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12170/
关键词：
適応型テスト数理計画法 eテスティング Computer Based Testing 項目反応理論 Adaptive Testing Computer adaptive test Computer based testing

项目摘要

適応型テストとは、受検者の能力値を逐次的に推定し、その能力値に応じて測定精度が最も高い項目を出題するコンピュータ・テスティングの出題形式である。その利点としては、測定精度を減少させずにテストの長さや受験時間を短縮できる。しかし、特定の項目群が頻繁に暴露される傾向があるため、項目内容が未受検者に共有され、テストの信頼性の低下要因となりうる。これらの問題を解決するため、先行研究では項目暴露を制御する適応型テストが提案されてきた。しかし、暴露数の減少と測定精度の向上にはトレードオフの関係が存在する。本研究では、このトレードオフを制御するため、２段階等質適応型テストを提案する。本年度は、従来の手法よりもさらに暴露数を減少させるアルゴリズムを定式化した。具体的には、まず、事前にアイテムバンクを分割して測定精度が等質な項目集合を複数構成する。受検時には、テストの前半に等質な項目集合から項目を選択し、受検者の能力推定値が収束し始めるテストの後半に受検者の能力値に応じた項目集合を構成して、その項目集合から項目選択する。項目集合の項目難易度分布は疎ではあるが、第1段階目では、過学習を避け、より高速に推定値が真の能力値近傍まで到達することが期待できる。第2段階目では、数理計画法を用いて受検者の能力値に応じて所望の測定精度の項目集合を構成し、その項目集合から項目を選択する。これにより、測定精度を制御しながら、アイテムバンクの項目を広く一様に活用することができる。シミュレーション実験と実データを用いた実験により2段階等質適応型の有効性を示した。これまでの成果は、日本テスト学会大会発表賞を受賞し、電子情報通信学会論文誌に掲載されている。

自适应测试是一种计算机测试问题格式，在该格式中，测试者的能力值是顺序估计的，并且根据能力值询问具有最高测量精度的项目。这样做的优点是，它在不降低测量精度的情况下缩短了测试的长度和考试时间。但是，由于某些项目往往经常暴露，因此可能与非测试人员共享这些项目，这可能导致测试可靠性下降。为了解决这些问题，先前的研究提出了自适应测试以控制项目暴露。但是，在暴露次数减少与测量准确性的提高之间存在权衡。在这项研究中，我们提出了一项两阶段的同型自适应测试，以控制这一权衡。今年，我们制定了一种算法，该算法比传统方法进一步减少了暴露次数。具体而言，首先，项目库被提前划分以形成一组相同测量精度的项目。参加测试时，从测试的上半年中选择了项目，在测试的后半部分，根据测试者的能力值形成项目，并从项目集中选择项目。尽管项目集的项目难度分布很少，但在第一阶段，可以避免学习，并且可以预期以更快的速度达到真实能力值的附近。在第二阶段，根据使用数学编程的测试者的能力值构建了一组具有所需测量精度的项目，并从项目集中选择项目。这允许在控制测量精度的同时，在项目库中广泛使用项目。使用实际数据的仿真实验和实验证明了两阶段同源适应的有效性。迄今为止，结果已获得日本测试协会会议颁奖典礼，并发表在《电子，信息和传播工程师研究所杂志》上。