測定精度の向上のための等質適応型テストの提案

提出同质自适应测试以提高测量精度

基本信息

批准号：
21K12170
负责人：
宮澤芳光
金额：
$ 2.66万
依托单位：
The National Center for University Entrance Examinations
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12170/
关键词：
適応型テスト数理計画法 eテスティング Computer Based Testing 項目反応理論 Adaptive Testing Computer adaptive test Computer based testing

项目摘要

適応型テストとは、受検者の能力値を逐次的に推定し、その能力値に応じて測定精度が最も高い項目を出題するコンピュータ・テスティングの出題形式である。その利点としては、測定精度を減少させずにテストの長さや受験時間を短縮できる。しかし、特定の項目群が頻繁に暴露される傾向があるため、項目内容が未受検者に共有され、テストの信頼性の低下要因となりうる。これらの問題を解決するため、先行研究では項目暴露を制御する適応型テストが提案されてきた。しかし、暴露数の減少と測定精度の向上にはトレードオフの関係が存在する。本研究では、このトレードオフを制御するため、２段階等質適応型テストを提案する。本年度は、従来の手法よりもさらに暴露数を減少させるアルゴリズムを定式化した。具体的には、まず、事前にアイテムバンクを分割して測定精度が等質な項目集合を複数構成する。受検時には、テストの前半に等質な項目集合から項目を選択し、受検者の能力推定値が収束し始めるテストの後半に受検者の能力値に応じた項目集合を構成して、その項目集合から項目選択する。項目集合の項目難易度分布は疎ではあるが、第1段階目では、過学習を避け、より高速に推定値が真の能力値近傍まで到達することが期待できる。第2段階目では、数理計画法を用いて受検者の能力値に応じて所望の測定精度の項目集合を構成し、その項目集合から項目を選択する。これにより、測定精度を制御しながら、アイテムバンクの項目を広く一様に活用することができる。シミュレーション実験と実データを用いた実験により2段階等質適応型の有効性を示した。これまでの成果は、日本テスト学会大会発表賞を受賞し、電子情報通信学会論文誌に掲載されている。

自适应测试是一种计算机测试问题格式，它依次估计考生的能力值，并根据该能力值询问测量准确度最高的项目。优点是可以在不降低测量精度的情况下缩短测试长度和考试时间。然而，由于某些项目组往往会频繁暴露，因此项目内容可能会与未参加测试的人共享，这会降低测试的可靠性。为了解决这些问题，之前的研究提出了控制项目暴露的适应性测试。然而，减少曝光次数和提高测量精度之间需要权衡。在本研究中，我们提出了一个两阶段同质自适应测试来控制这种权衡。今年，我们制定了一种算法，可以比传统方法减少更多的曝光次数。具体地，首先，预先对项目库进行划分，形成多个测量精度相等的项目集。考试时，前半段从同质项目集中选择项目，后半段当考生的能力估计开始收敛时，根据考生的能力构建项目集值，并且该项目集是从中选择一个项目。尽管项目集的项目难度分布稀疏，但预计在第一阶段将避免过拟合，并且估计值将更快地达到真实能力值附近。第二阶段，根据应试者的能力值，利用数学编程构建具有期望测量精度的项目集，并从该项目集中选择项目。这使得可以广泛且统一地利用项目库中的项目，同时控制测量精度。通过仿真实验和真实数据实验证明了两阶段齐次自适应方法的有效性。迄今为止的成果已获得日本试验协会会议发表奖，并发表在电子信息通信工程师学会杂志上。