基于注意力机制的多尺度手部分割方法

作     者：周雯晴 代素敏 王阳萍 王文润 ZHOU Wenqing;DAI Sumin;WANG Yangpin;WANG Wenrun

作者机构：兰州交通大学电子与信息工程学院甘肃兰州730070 甘肃省人工智能与图形图像处理工程研究中心甘肃兰州730070 北京中电飞华通信有限公司北京100700 

基　　金：国家自然科学基金(No.62067006,No.62367005) 甘肃省知识产权计划(No.21ZSCQ013) 兰州市青年科技人才创新项目(No.2023-QN-117) 兰州交通大学青年科学基金(No.2022012) 高校科研创新平台重大培育项目(No.2024CXPT-17) 

出 版 物：《液晶与显示》 (Chinese Journal of Liquid Crystals and Displays)

年 卷 期：2024年第39卷第11期

页      码：1506-1518页

摘      要：针对手部边缘细节信息分割不精确及小面积手部的错检、漏检问题,提出一种基于注意力机制的多尺度手部分割方法。首先,对Transformer模块重新进行设计优化,提出窗口自注意力结构和双分支前馈神经网络(Dual-branch FeedForward Networks,D-FFN)机制,通过窗口自注意力机制整合全局和局部的依赖信息,D-FFN抑制背景信息的干扰;然后,提出一种结合条形池化和级联网络的多尺度特征提取模块增大感受野,提高手部分割模型的准确性和鲁棒性;最后,提出基于Triplet Attention机制的上采样解码器模块,通过调节通道维度与空间维度的注意力权重将目标特征和背景的冗余特征区分开。将所提算法在公开数据集GTEA(Georgia Tech Egocentric Activity)和EYTH(EgoYouTubeHands)上测试,实验结果表明,该算法在两个数据集上的平均交并比(MIoU)值分别达到了95.8%和90.2%,相较于TransUnet算法分别提升了2.5%和2.1%,满足手部图像分割的稳定可靠、精度高、抗干扰能力强等要求。

主 题 词：手部分割 深度学习 TransUnet 前馈神经网络 空洞空间金字塔池化模块 Triplet Attention 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.37188/CJLCD.2024-0130

馆 藏 号：203154538...