掩码生成动态调控弱监督视频实例分割

作     者：何自芬 徐林 张印辉 黄滢 HE Zifen;XU Lin;ZHANG Yinhui;HUANG Ying

作者机构：昆明理工大学机电工程学院云南昆明650000 

基　　金：国家自然科学基金资助项目(No.62171206 No.62061022) 

出 版 物：《光学精密工程》 (Optics and Precision Engineering)

年 卷 期：2023年第31卷第19期

页      码：2884-2897页

摘      要：针对全监督视频实例分割网络训练数据高度依赖精细掩码标注,时间和人工成本过高,导致智能机器无法快速适应新场景的问题,提出一种端到端的掩码生成动态调控弱监督视频实例分割(Weakly Supervised Video Instance Segmentation,WSVIS)网络。为克服初始掩码预测层通道维度突降导致的实例激活特征丢失问题,构建多级特征融合模块,利用特征复用策略预测初始实例特征并融合相对位置信息生成初始预测掩码。然后,提出动态调控机制在通道和空间维度上建立掩码特征依赖关系,强化初始预测掩码与实例感知信息之间的动态交互。最后,网络设计二元颜色相似性生成伪亲和标签取代精细掩码标注,联合边界框与掩码一致性损失实现仅边界框标注的弱监督视频实例分割。实验结果表明,在BoxSet和YT-VIS数据集上,WSVIS网络能达到与全监督网络相近的分割精度和分割效果,同时能够满足实时推理要求,为智能机器快速适应新场景实现实时环境感知和理解提供了理论支撑和算法依据。

主 题 词：智能机器 弱监督视频实例分割 多级特征融合 动态调控 二元颜色相似性 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.37188/OPE.20233119.2884

馆 藏 号：203124202...