认知诊断评价中测验结构的优化设计

作     者：彭亚风 罗照盛 喻晓锋 高椿雷 李喻骏 PENG Yafeng;LUO Zhaosheng;YU Xiaofeng;GAO Chunlei;LI Yujun

作者机构：江西师范大学心理学院南昌330022 华南师范大学心理应用研究中心/心理学院广州510631 

基　　金：江西省研究生创新专项基金(YC2015-B025)资助 

出 版 物：《心理学报》 (Acta Psychologica Sinica)

年 卷 期：2016年第48卷第12期

页      码：1600-1611页

摘      要：Q矩阵是认知诊断评价的基础和核心要素,它反映了测验的构念和内容设计,直接影响着测验诊断分类的效果。本文采用Monte Carlo模拟,研究了6种属性层级关系下,不同的Q矩阵设计对于认知诊断效果的影响。用模式判准率的均值和标准差分别从分类准确性和稳定性的角度来评价诊断效果。实验结果表明:(1)不同属性层级关系下,分类准确性会随着测验长度的增加而提高,但当测验长度增加到一定程度时,会出现"天花板效应";(2)Q矩阵中R*的个数(NR*)会影响测验的分类准确性及稳定性:NR*越大,测验的分类稳定性越高,当测验长度为属性个数的整数倍,且NR*为测验长度相对属性个数的最大奇数倍时分类准确性最高;(3)Q矩阵中除R*以外的项目考察的属性个数会随着属性层级关系的不同对测验的分类准确性和稳定性产生不同的影响。根据实验结果,本研究提出了进行诊断评价时Q矩阵优化设计的一些建议。

主 题 词：认知诊断评价 Q矩阵 测验结构设计 分类准确性 分类稳定性 

学科分类：0402[教育学-体育学类] 04[教育学] 040201[040201] 

核心收录：

D　O　I：10.3724/SP.J.1041.2016.01600

馆 藏 号：203210415...