基于编码视频的动态手势数据优化与识别

作     者：谢晓燕 曹盘宇 夏浩 陈雨馨 XIE Xiaoyan;CAO Panyu;XIA Hao;CHEN Yuxin

作者机构：西安邮电大学计算机学院西安710121 

基　　金：科技创新2030-“新一代人工智能”重大项目(2022ZD0119001) 国家自然科学基金项目(61834005,61772417) 

出 版 物：《北京邮电大学学报》 (Journal of Beijing University of Posts and Telecommunications)

年 卷 期：2024年第47卷第2期

页      码：90-96页

摘      要：编码视频数据流中的运动矢量和残差等语法元素可用于替代光流进行运动表示,但其固有的像素噪声和特征稀疏性会影响精细动作的识别精度。对此,在对编码视频语法元素进行数据优化的基础上,设计了一个高精度、低复杂度的动态手势识别框架。首先,提出了关键P帧选择方法,通过选择信息量更高的编码帧解决了特征稀疏性问题;其次,提出了联合残差特征表示方法,利用残差得到精细的手势轮廓图,去除了运动矢量中手部以外的像素噪声;最后,设计了一种轻量而高效的动态手势识别模型,利用优化后的运动矢量和残差获得了类似于光流的计算效果。在viva,sheffield klnect gesture,NvGesture和EgoGesture等数据集上对所提方法进行了验证,实验结果显示,所提方法中仅使用RGB数据模式可达到的识别精度分别为82.94%、99.72%、81.12%和90.48%,降低了89%的存储开销,并且以4.7倍的运行速度获得了与先进方法相近的结果。

主 题 词：动态手势识别 编码视频 运动矢量 残差 数据优化 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.13190/j.jbupt.2023-072

馆 藏 号：203125301...