注意力引导多模态融合的RGB-D图像分割

作     者：靳瑜昕 杨晓文 张元 焦世超 文阳晖 王爱兵 JIN Yu-xin;YANG Xiao-wen;ZHANG Yuan;JIAO Shi-chao;WEN Yang-hui;WANG Ai-bing

作者机构：中北大学大数据学院山西太原030051 

基　　金：山西省回国留学人员科研基金项目(2020-113) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2022年第43卷第12期

页      码：3453-3460页

摘      要：为提高图像分割效率,提出注意力引导多模态交叉融合分割网络(ACFNet)。采用编码器-解码器结构,设计非对称双流特征提取网络,RGB和深度编码器分别以ResNet-101和ResNet-50为主干网络,并在RGB编码器中添加全局-局部特征提取模块(GL)。为有效融合RGB和深度特征,提出注意力引导多模态交叉融合模块(ACFM),在多阶段利用融合的增强特征表示。实验结果表明,ACFNet在室内场景分割数据集NYUD V2上的平均交并比(mIou)达到了51.5%,与先进的语义分割算法相比,显著提高了分割性能。

主 题 词：RGB-D图像 语义分割 注意力机制 多模态融合 深度学习 特征提取 编码器-解码器 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2022.12.020

馆 藏 号：203115651...