互补特征交互融合的RGB_D实时显著目标检测

作     者：叶欣悦 朱磊 王文武 付云 Ye Xinyue;Zhu Lei;Wang Wenwu;Fu Yun

作者机构：武汉科技大学信息科学与工程学院武汉430081 

基　　金：国家自然科学基金项目(61873196 61502358) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2024年第29卷第5期

页      码：1252-1264页

摘      要：目的 通过融合颜色、深度和空间信息,利用RGB_D这两种模态数据的显著目标检测方案通常能比单一模态数据取得更加准确的预测结果。深度学习进一步推动RGB_D显著目标检测领域的发展。然而,现有RGB_D显著目标检测深度网络模型容易忽略模态的特异性,通常仅通过简单的元素相加、相乘或特征串联来融合多模态特征,如何实现RGB图像和深度图像之间的信息交互则缺乏合理性解释。为了探求两种模态数据中的互补信息重要性及更有效的交互方式,在分析了传统卷积网络中修正线性单元(rectified linear unit,ReLU)选通特性的基础上,设计了一种新的RGB和深度特征互补信息交互机制,并首次应用于RGB_D显著目标检测中。方法 首先,根据该机制提出了互补信息交互模块将模态各自的“冗余”特征用于辅助对方。然后,将其阶段式插入两个轻量级主干网络分别用于提取RGB和深度特征并实施两者的交互。该模块核心功能基于修改的ReLU,具有结构简单的特点。在网络的顶层还设计了跨模态特征融合模块用于提取融合后特征的全局语义信息。该特征被馈送至主干网络每个尺度,并通过邻域尺度特征增强模块与多个尺度特征进行聚合。最后,采用了深度恢复监督、边缘监督和深度监督3种监督策略以有效监督提出模型的优化过程。结果 在4个广泛使用的公开数据集NJU2K(Nanjing University2K)、NLPR(national laboratory of pattern recognition)、STERE(stereo dataset)和SIP(salient person)上的定量和定性的实验结果表明,以Max F-measure、MAE(mean absolute error)以及Max E-measure共3种主流测度评估,本文提出的显著目标检测模型相比较其他方法取得了更优秀的性能和显著的推理速度优势(373.8帧/s)。结论 本文论证了在RGB_D显著目标检测中两种模态数据具有信息互补特点,提出的模型具有较好的性能和高效率推理能力,有较好的实际应用价值。

主 题 词：显著目标检测(SOD) RGB_D 深度卷积网络 互补信息交互 跨模态特征融合 

学科分类：1305[艺术学-设计学类] 13[艺术学] 081104[081104] 08[工学] 0804[工学-材料学] 081101[081101] 0811[工学-水利类] 

核心收录：

D　O　I：10.11834/jig.230583

馆 藏 号：203127792...