摘要：现有的大多数rgb-d显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出rgb图像中的显著目标,提出了一个用于多模态特征交互的rgb-d显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

摘要：深度图的引入为rgb显著性检测提供了丰富的位置线索,但低质量的深度图会错误引导模型的特征拟合,并且由于真实世界的显著物体尺度变化较大,会使网络在预测过程中更加困难,误差变大.为了解决上述问题,本文设计了一种新的基于深度学习的rgb-d显著性检测模型.本文利用VGG19作为主干网络分别提取rgb图和深度图两个模态的特征;然后利用串行的自适应融合模块对提取到的特征进行跨模态融合,使rgb图和深度图的优势互补,自动筛选深度特征;接着利用联合边缘检测的多尺度特征聚合模块将跨模态融合后的特征与边缘信息融合;最后通过全局引导模块对模型进行全局特征引导,得到预测结果.利用本文方法对4个公开数据集上的图像进行了预测。并与6种不同的方法进行对比,本文方法预测结果更接近人工标定的真值图.PR(Precision-Recal)曲线、S(S-measure)指标、F(F-measure)指标和MAE(Mean Absolute Error)指标显示,本文方法的整体性能较其中6种方法高.