摘要：人体姿态是动作识别的重要语义线索,而CNN能够从图像中提取有很强判别能力的深度特征,本文从图像局部区域提取姿态特征,从整体图像中提取深度特征,探索两者在动作识别中的互补作用.首先介绍了一种姿态表示方法,每个肢体部件的姿态由描述该部件姿态的一组Poselet检测得分表示.为了抑制检测错误,设计了基于部件的模型作为检测上下文.为了从数量有限的数据集中训练CNN网络,本文使用了预训练和精细调节的方法.在两个数据集中的实验表明,本文介绍的姿态特征与深度特征混合使用,动作识别性能得到了极大提升.

摘要：为拓展光纤光栅在机器人智能感知领域的应用,设计了光纤光栅感知护具并研发了光纤光栅波电转换系统及其人机仿生跟随的交互操控算法。感知护具中设置有3个光纤布拉格光栅传感单元,主要包括弹性绳的拉力环。通过拉力环对光纤光栅施加预紧力,可有效避免由于衣物或皮肤聚集引起的牵引力方向偏移。光纤光栅波电转换系统对人体手臂的肘关节弯曲角度、腕关节俯仰角度、指关节开合角度进行运动姿态特征提取,分别对应控制机械臂的方向、高度和机械爪开合角度。构建了人体手臂运动角度范围和机械臂运动角度量程的对应关系,获取了检测系数和控制系数,最终通过动态实时波长与PWM控制电信号的转换推导出系统的波电转换系数。实验结果显示,在实验量程内,机械臂的方向、高度、开合控制输出的波电转换系数最大累积误差分别是0.77111%,1.99291%,0.34117%,3个控制角度的输出偏差分别为1.13560°,1.72056°,1.82657°。光纤光栅波电转换的仿生跟随方法具有良好的控制精度,实现了机械臂运动与人体手臂运动的仿生跟随,为智能机器人仿生跟随的深入研究奠定了理论基础。

摘要：随着人工智能在教育领域的广泛应用,在线课堂已成为当今极为便捷高效的新教育模式。然而,如何有效管理学习者的课堂学习状态成为一项重要的教育管理难题。鉴于此,提出一种在线课堂学习者互动状态识别方法。首先,将在线课堂数据源分为视频数据和音频数据,基于视频数据构建了包括学习者上肢姿态特征、表情特征以及面部特征等多维度的互动状态特征,基于音频数据构建了学习者的课堂应答状态特征。其次,通过特征选择算法筛选出的关键特征,构建二分类模型,采用贝叶斯优化实现对学生课堂互动状态的精确识别。最后,设计了一个在线课堂总体情况评估模型,为教师提供全面的课堂评估结果,优化教学策略。在自建的在线课堂视频数据集上,该单名学习者课中互动状态识别算法的准确率能够达到93%以上。

摘要：为提高视觉手虚拟现实交互的效率与精度,引入触觉反馈技术,设计一种针对视觉手的虚拟现实交互技术。首先,利用底层视觉效应进行单元图像在指定范围内的归一化处理,提取多视点手姿态特征;其次,引入触觉反馈技术,根据手势缺陷示意图,利用感知理论提取不同手势下的感知信息;再次,利用矩阵不变效应定义触觉反应单元的阶级矩阵,并检测手势缺陷与指尖空间位置;最后,应用SolidWorks三维建模软件建立视觉手三维实体模型,使用一系列约束、装配语句进行视觉手位姿动作的虚拟现实空间匹配。设计对比实验,证明设计的视觉手虚拟现实交互技术可以缩短界面感知手势所需的时间,提高虚拟现实交互行为的精度。