融合人体姿态估计和目标检测的学生课堂行为识别

作     者：王泽杰 沈超敏 赵春 刘新妹 陈杰 WANG Zejie;SHEN Chaomin;ZHAO Chun;LIU Xinmei;CHEN Jie

作者机构：华东师范大学计算机科学与技术学院上海200062 华东师范大学上海市多维度信息处理重点实验室上海200241 华东师范大学信息化治理办公室上海200062 华东师范大学教育信息技术学系上海200062 

基　　金：国家自然科学基金(11771276,61731009) 上海市“科技创新行动计划”人工智能科技支撑专项项目(20511100200) 上海市科学技术委员会资助项目(14DZ2260800) 

出 版 物：《华东师范大学学报（自然科学版）》 (Journal of East China Normal University(Natural Science))

年 卷 期：2022年第2期

页      码：55-66页

摘      要：在课堂教学中,人工智能技术可以帮助实现学生行为分析自动化,让教师能够高效且直观地掌握学生学习行为投入的情况,为后续优化教学设计与实施教学干预提供数据支持.构建了学生课堂行为数据集,为后续研究工作提供了数据基础;提出了一种行为检测方法及一套可行的高精度的行为识别模型,利用OpenPose算法提取的人体姿态全局特征,融合YOLO v3算法提取的交互物体局部特征,对学生行为进行了识别分析,提高了识别精度;改进了模型结构,压缩并优化了模型,降低了空间与时间的消耗.选取与学习投入状态紧密相关的4种行为:正坐、侧身、低头和举手进行识别,该检测与识别方法在验证集上的精度达到了95.45%,在课堂上玩手机和书写等常见行为的识别精度较原模型有很大的提高.

主 题 词：学习行为识别 人体姿态估计 目标检测 计算机视觉 深度学习 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-5641.2022.02.007

馆 藏 号：203109533...