摘要：目的现有图像级标注的弱监督分割方法大多利用卷积神经网络获取伪标签,其覆盖的目标区域往往过小。基于Transformer的方法通常采用自注意力对类激活图进行扩张,然而受其深层注意力不准确性的影响,优化之后得到的伪标签中背景噪声比较多。为了利用该两类特征提取网络的优点,同时结合Transformer不同层级的注意力特性,构建了一种结合卷积特征和Transformer特征的自注意力融合调制网络进行弱监督语义分割。方法采用卷积增强的Transformer(Conformer)作为特征提取网络,其能够对图像进行更加全面的编码,得到初始的类激活图。设计了一种自注意力层级自适应融合模块,根据自注意力值和层级重要性生成融合权重,融合之后的自注意力能够较好地抑制背景噪声。提出了一种自注意力调制模块,利用像素对之间的注意力关系,设计调制函数,增大前景像素的激活响应。使用调制后的注意力对初始类激活图进行优化,使其覆盖较多的目标区域,同时有效抑制背景噪声。结果在最常用的PASCAL VOC 2012(pattern analysis,statistical modeling and computational learning visual object classes 2012)数据集和COCO 2014(common objectes in context 2014)数据集上利用获得的伪标签进行分割网络的训练,在对比实验中本文算法均取得最优结果,在PASCAL VOC验证集上,平均交并比(mean intersection over union,mIoU)达到了70.2%,测试集上mIoU值为70.5%,相比对比算法中最优的Transformer模型,其性能在验证集和测试集上均提升了0.9%,相比于卷积神经网络最优方法,验证集上mIoU提升了0.7%,测试集上mIoU值提升了0.8%。在COCO 2014验证集上结果为40.1%,与对比算法中最优方法相比分割精度提高了0.5%。结论本文提出的弱监督语义分割模型,结合了卷积神经网络和Transformer的优点,通过对Transformer自注意力进行自适应融合调制,得到了图像级标签下目前最优的语义分割结果,该方法可应用于三维重建、机器人场景理解等应用领域。此外,所构建的自注意力自适应融合模块和自注意力调制模块均可嵌入到Transformer结构中,为具体视觉任务获取更鲁棒、更具鉴别性的特征。

摘要：基于深度学习的显著性目标检测算法大多依赖于大规模标注数据下的监督学习模式,但是,样本的像素级标签存在获取困难、标注成本高的问题。为此,设计一种边缘深度挖掘的弱监督显著性目标检测算法,仅使用图像级类别标签,从输入图像的显著性目标边缘角度得到能够较准确描述目标轮廓信息的边缘特征图,以生成伪标签对显著性模型进行监督训练。通过粗糙边缘生成模块对显著性目标轮廓特征进行简单标定,用于获取粗糙边缘特征图。在此基础上,利用精细边缘生成模块优化特征以得到精细边缘特征图,能够更准确地反映目标的边界信息,在完整刻画轮廓信息的同时可以更好地抑制背景噪声。伪标签生成模块基于精细边缘特征图生成像素级伪标签。实验结果表明,相比MSW、MFNet、NSAL等算法,该算法能够准确识别显著性区域,获得的预测图具有较完整的细节信息,其中,在ECSSD数据集上S-measure值和E-measure值相较于第2名NSAL算法分别提高1.1和0.6个百分点。