高级语义修复策略的跨模态融合RGB-D显著性检测

作     者：石玉诚 吴云 龙慧云 SHI Yucheng;WU Yun;LONG Huiyun

作者机构：贵州大学计算机科学与技术学院贵阳550025 

基　　金：国家自然科学基金(61741124) 贵州省科技计划项目(黔科合平台人才5781号) 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2023年第17卷第1期

页      码：140-153页

摘      要：针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。

主 题 词：RGB-D 显著性目标检测 跨模态融合 高级语义修复 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3778/j.issn.1673-9418.2105060

馆 藏 号：203116244...