基于双流自适应时空增强图卷积网络的手语识别

作     者：金彦亮 吴筱溦 JIN Yanliang;WU Xiaowei

作者机构：上海大学通信与信息工程学院上海200444 上海大学上海先进通信与数据科学研究院上海200444 

基　　金：上海市自然科学基金(No.22ZR1422200) 上海市科委重点基金(No.19511102803) 上海市产业项目(No.XTCX-KJ-2022-68)资助 

出 版 物：《应用科学学报》 (Journal of Applied Sciences)

年 卷 期：2024年第42卷第2期

页      码：189-199页

摘      要：针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

主 题 词：骨架数据 双流结构 自适应时空图卷积模块 自适应多尺度时空注意力模块 特征融合 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

D　O　I：10.3969/j.issn.0255-8297.2024.02.001

馆 藏 号：203127179...