融合双阶段特征与Transformer编码的交互式图像分割

作     者：封筠 张天 史屹琛 王辉 胡晶晶 Feng Jun;Zhang Tian;Shi Yichen;Wang Hui;Hu Jingjing

作者机构：石家庄铁道大学信息科学与技术学院石家庄050043 北京理工大学计算机科学与技术学院北京100081 

基　　金：国家自然科学基金(61772070,61972267) 河北省高等学校科学技术研究重点项目(ZD2021333) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第6期

页      码：831-843页

摘      要：为了快速、精确地分割用户感兴趣的前景目标,获得高质量且低成本的标注分割数据,提出一种基于双阶段特征融合与Transformer编码的交互式图像分割算法.首先采用轻量化Transformer骨干网络对输入图像提取多尺度特征编码,更好地利用上下文信息;然后使用点击交互的方式引入主观先验知识,依次通过初级与加强阶段将交互特征融入Transformer网络;最后结合空洞卷积、注意力机制和多层感知机对骨干网络获取的特征图解码.实验结果表明,所提算法在GrabCut,Berkeley和DAVIS数据集上的mNoC@90%值分别达到2.18,4.04和7.39,优于其他对比算法;且算法的时间与空间复杂度低于f-BRS-B,对交互点击位置及点击类型的扰动变化具有较好的稳定性,说明该算法能够快速、精确与稳定地分割用户感兴趣目标,提升用户交互的使用体验感.

主 题 词：交互式图像分割 深度学习 Transformer编码 交互特征融合 轻量化网络 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2024.19922

馆 藏 号：203136605...