用于视频流人体姿态估计的时空信息感知网络

作     者：吉斌 潘烨 金小刚 杨旭波 Ji Bin;Pan Ye;Jin Xiaogang;Yang Xubo

作者机构：上海交通大学电子信息与电气工程学院上海200240 浙江大学CAD&CG国家重点实验室杭州310058 上海交通大学软件学院数字艺术实验室上海200240 

基　　金：上海市科委青年科技英才扬帆计划(20YF1421200) 浙江省重点研发计划(2020C03096) 宁波市“科技创新2025”重大专项(2020Z007) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第2期

页      码：189-197页

摘      要：针对现有二维人体姿态估计方法应用于视频序列时由于图像质量不稳定而导致的估计精度下降和时域不连续的问题,提出一种时空信息感知网络STNet.首先利用卷积模块提取出每帧视频中人体关节点的二维空间热力图,接着利用循环卷积模块对连续帧热力图之间的时间信息进行编码.时空信息的解耦学习策略提升了姿态估计结果的时域连贯性和空间准确性,降低了视频序列中时空特征的提取难度.循环卷积模块中的ConvGRU结构在保证识别精度的同时有效减少了模型计算量.在二维关节点数据集PennAction和Sub-JHMDB上进行实验,并与其他现有方法进行对比分析.结果表明, STNet可以实现预测精度和运算量之间的更好权衡,更具实用价值.

主 题 词：人体姿态估计 循环卷积网络 时空信息编码 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2022.18878

馆 藏 号：203107299...