大数据视角下大规模考试中的作弊甄别方法研究

Cheating detection in large-scale exams is of increasing importance in China, where cheating using high-tech devices is prevalent. Most technologies that are deployed abroad are designed for multiple-choice items and cheating happened within exam rooms. However, those technologies are not effective in China because exams normally consist of a high proportion of subjective items and cheating across exam rooms with high-tech devices is very common. Therefore, it is critical that innovative methods are developed to meet the demand for efficient cheating detection in large-scale exams. In this study, we will propose a multi-dimensional, multi-layer cheating detection model from the perspective of big data, focusing on three state-of-the-art techniques. First, we will develop new methods to detect cheating in subjective items based on text plagiarism detection. Second, we will apply neural network algorithms to the process data and construct a cheating warning model. Third, we will revise the community detection methods in complex networks and build an indicator of group cheating using high-tech devices, which will be capable of identifying the cheating chain. The research outcomes will bring significant innovation in both theories and applications of cheating detection, and contribute greatly to the fairness and test security of large-scale exams in China.

我国当前的考试作弊形势异常严峻，对作弊考生进行试后甄别，抓住漏网之鱼，已成为维护考试公平公正的重要防线。国外广泛使用的作弊甄别方法仅能基于选择题来检测考场内的抄袭行为，而且检出率较低。我国的大规模考试有大量主观题，而且跨考场分布的高科技作弊非常普遍，因而照搬国外的作弊甄别方法远不能满足我国的实际需求。本研究拟突破当前甄别技术的理论和操作框架，从大数据的视角对传统的作弊甄别方法进行重构与革新，构建多维度、多层次的作弊甄别模型来检测作弊考生个体以及高科技作弊团体。具体包括：1）借鉴文本抄袭检测技术，研究基于主观题的抄袭检测方法；2）基于考生的学习过程性数据，使用神经网络算法构建考生作弊的预警模型；3）采用复杂网络中的社团检测算法，构建高科技作弊团体检测模型，识别和表征作弊链条。本项目的研究成果将对作弊甄别的理论和技术实现双重创新，对消除我国大规模考试实践中的高科技作弊隐患意义深远。

项目的背景：由于通讯技术的飞速发展，作弊手段得以极大地丰富，使得作弊考生涉及到的题型产生变化，波及人员范围大大增加，作弊集团化和组织化程度大大提高，导致考试形式异常严峻。因此对作弊考生进行试后甄别，抓住漏网之鱼，已成为维护考试公平公正的重要防线。.主要研究内容：本课题根据预定的研究计划，依次解决了高科技团伙作弊甄别、高维度特征的过程性数据建模、主观题抄袭检测的研究三项主要研究。.重要结果和关键数据：（1）相较传统方法，利用团体内部一致性高来构建的高科技团伙作弊甄别方法，在实验的所有条件下均能够找出以枪手为中心的作弊团伙，极大地提高检测效果，单组作弊的情况下，检出率范围在66.98%~100%，误判率范围在0~2%；多组作弊情况下，检出率范围在97%~98.56%，误判率为0.009%~0.035%；（2）利用高维度的在线日志数据尝试构建预测模型，并将建模经验利用到多指标结合的作弊甄别中，，提高了对高分作弊考生和低抄袭比例作弊考生的检验力，在甄别高分作弊考生时，能在保证误判率为0的情况下，检出率保持在39.1%~62.1%的范围内；在甄别抄袭比例低的考生时，检出率在27%~49.4%的范围内，误判率为0.1%~5.5%；（3）利用内部和外部检测法检验主观题文本抄袭，发现内部检测法适用于检测字数较多、得分较高的作弊考生，当使用4维度的方法2且α水平为0.25时，内部检测法的检出率为67.74%，误判率为16.25%；外部检测法更适用于作答字数较少、得分较低的作弊考生，在α水平为0.01，分组标准为3分时，外部检测法检出率达到100%，误判率15.83%；当结合使用内外部检测法时，甄别效果达到最佳状态，优于内外部检测法单独使用的效果，α水平为0.15时，检出率为100%，误判率为8.07%。 .科学意义：在传统方法不能满足作弊甄别需要的今天，本研究针对现行考试作弊的新趋势，提出适用新形势的新思路新算法，能够很好地适应考试作弊的现状，有助于保障考试安全，维护公平公正的防线。本项目的研究成果将对作弊甄别的理论和技术实现双重创新，对消除我国大规模考试实践中的高科技作弊隐患意义深远。

内容获取失败，请点击重试