基于电子档案袋测评的评分者间信度分析报告

作     者：林莉兰 Lin Lilan

作者机构：安徽建筑大学外国语学院安徽合肥230601 

基　　金：国家社科基金项目“基于发展性评估理念的大学生外语自主学习在线测评系统设计与应用”(项目编号:BCA140053)的阶段性研究成果 

出 版 物：《西安外国语大学学报》 (Journal of Xi’an International Studies University)

年 卷 期：2021年第29卷第4期

页      码：67-72页

摘      要：本研究旨在评估一项电子档案袋测评实验的评分者间信度,分析评分差异的可能原因。从样本框按学号抽取85名学生的档案袋(28.3%)。8位评分者分成5组(每组2人,1名任课教师,1名外部评分者),根据量规对旨在反映学生反思能力和自我测评能力的两指标进行独立评分。分别用Cohen的kappa系数、PABAK指数、Spearman秩相关系数、配对样本t检验和效应量对两个评分者的一致性、相关性和差异性进行估计。结果表明:1)10组评分中,7组kappa值达到中等以上一致,9组修正kappa-PABAK值达到中等以上一致;2) 10组评分均达到中等到极强相关程度;3)任务类型和任务呈现方式、评分者角色以及对量规的理解一定程度上造成了评分偏差。本文针对研究结果讨论了对未来档案袋测评设计的启示。

主 题 词：电子档案袋测评 评分者间信度 一致性 相关性 差异 

学科分类：0502[文学-外国语言文学类] 050201[050201] 05[文学] 

D　O　I：10.16362/j.cnki.cn61-1457/h.2021.04.013

馆 藏 号：203106798...