跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测

作     者：孟令兵 袁梦雅 时雪涵 张乐 吴锦华 程菲 MENG Ling-bing;YUAN Meng-ya;SHI Xue-han;ZHANG Le;WU Jin-hua;CHENG Fei

作者机构：安徽信息工程学院计算机与软件工程学院安徽芜湖241000 安徽信息工程学院电气与电子工程学院安徽芜湖241000 杭州电子科技大学管理学院浙江杭州310000 

基　　金：安徽省自然科学基金(No.2008085MF201) 安徽省教育厅自然科学重点项目(No.2022AH051894,No.2022AH051887) 安徽省高校优秀青年人才支持计划(No.gxyq2022147) 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第11期

页      码：3155-3166页

摘      要：RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文提出了一种跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测方法.首先,本文以Swin-Transformer为特征提取器,分别对RGB模态与深度图模态进行特征提取,并通过跨模态注意力增强特征模块对两种模态特征进行融合以挖掘显著物的共性与互补特征.接着将提出的相邻多尺度特征增强模块嵌入编码器深层,以获得丰富的全局上下文特征信息,更精准地定位显著物的位置.然后通过构建一个边界特征提取解码器(U-Net架构)生成显著物的边界线索图,并重复采用跨模态融合特征确保生成显著物边界的完整性.最后,本文设计了一个边界可变形卷积引导模块,使用边界线索图与可变形卷积引导跨模态融合特征进行解码以得到更加准确的显著图.通过在6个公开基准数据集上与25种主流方法相比较,本文所提模型在多个指标上均有较明显的提升,从而证明了本文方法的有效性.

主 题 词：显著性目标检测 跨模态融合 边界特征 可变形卷积 显著图 

学科分类：0810[工学-土木类] 08[工学] 081002[081002] 

核心收录：

D　O　I：10.12263/DZXB.20230042

馆 藏 号：203125321...