联合组间对抗数据混合与变换器学习的协同显著性检测

作     者：吴泱 宋慧慧 张开华 陈虎 刘青山 WU Yang;SONG Hui-Hui;ZHANG Kai-Hua;CHEN Hu;LIU Qing-Shan

作者机构：南京信息工程大学自动化学院南京210044 南京信息工程大学计算机与软件学院数字取证教育部工程研究中心南京210044 四川大学视觉合成图形图像技术国家级重点实验室成都610041 

基　　金：科技创新2030-“新一代人工智能”重大项目(No.2018AAA0100400) 国家自然科学基金项目(No.61876088,61872189,62276141,U20B2065,61532009) 江苏省333工程人才项目(No.BRA2020291) 视觉合成图形图像技术国家级重点实验室开放研究项目(No.2021SCUVS001)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2023年第46卷第9期

页      码：1838-1854页

摘      要：协同显著性检测旨在发现并分割出一组图像中相同语义类别的前景显著目标.当前基于深度学习的协同显著性检测方法主要存在两方面局限:(1)训练数据中仅含有单一显著目标,无法为模型训练提供对抗样本,导致其泛化性受限,难以有效应对未知类别目标、干扰显著目标、嘈杂背景等挑战;(2)现有方法通常利用卷积神经网络提取特征,其感受野受限,无法建模长程依赖关系,限制了所学特征的表征力.为此,本文提出了一种新颖的基于组间对抗数据混合的协同显著性检测变换器,旨在通过纯视觉变换器构建序列到序列的协同显著性检测网络,并使用组间混合后的数据进行对抗训练,以提升模型的泛化性.所设计的网络结构包含数据混合子网络和协同显著性检测变换器两部分.具体而言,在数据混合子网络中,本文设计了目标细化模块,输入类激活图,引导网络以无监督的方式从一组图像中分割出边缘平滑的显著目标作为对抗对象,并通过设计调距模块将对抗对象以最小化重叠的方式混合至另一组图像之中,生成混合训练数据;在协同显著性检测变换器中,本文从序列建模的角度,设计了任务注入器,将组信息图符与显著性信息图符注入序列特征之中,并利用自注意力机制充分捕获特征之间的全局上下文信息.最后,将获得的组特征和显著性特征通过自注意力机制进行充分混合交互,以进一步增强特征的表征力,生成精确的协同显著性检测结果.本文在包含Cosal2015、Co CA和Co SOD3k等三个基准数据集上做了充分的实验评估,与多个领先方法的对比结果充分证明了本方法的优越性能.

主 题 词：数据混合 变换器 协同显著性检测 大数据 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2023.01838

馆 藏 号：203123379...