联合语义分割的自监督单目深度估计方法

作     者：宋霄罡 胡浩越 宁靖宇 梁莉 鲁晓锋 黑新宏 Song Xiaogang;Hu Haoyue;Ning Jingyu;Liang Li;Lu Xiaofeng;Hei Xinhong

作者机构：西安理工大学计算机科学与工程学院西安710048 人机共融智能机器人陕西省高校工程研究中心(西安理工大学)西安710048 

基　　金：国家自然科学基金面上项目(52372418,62076201) 国家自然科学基金联合基金项目(U1934222) 陕西省重点研发计划项目(2022GY-245) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2024年第61卷第5期

页      码：1336-1347页

摘      要：研究深度估计和语义分割的图像之间的互利关系,提出了一种联合语义分割的自监督单目深度估计方法USegDepth.语义分割和深度估计任务通过共享编码器,实现语义引导.为了进一步提高编码器的跨多任务性能,设计了多任务特征提取模块,堆叠该模块构成共享编码器,解决有限感受野和缺乏跨通道交互导致的模型特征表示能力欠佳问题,进一步提升模型精度.同时,提出跨任务交互模块,通过双向的跨域信息交互细化特征表示,提升深度估计表现,特别是光度一致性监督有限的弱纹理区域和物体边界.通过在KITTI数据集上的训练和全面评估,实验结果显示所提的USegDepth模型方法的均方相对误差相比于SGDepth降低了0.176个百分点,在阈值为1.253的阈值精度达到了98.4%,证明了USegDepth在深度预测上具有较高的准确率.

主 题 词：自监督深度学习 深度估计 语义分割 多任务联合 共享编码器 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.202330485

馆 藏 号：203127789...