基于动态门控特征融合的轻量深度补全算法

作     者：孙海峰 穆正阳 戚琦 王敬宇 刘聪 廖建新 SUN Hai-Feng;MU Zheng-Yang;QI Qi;WANG Jing-Yu;LIU Cong;LIAO Jian-Xin

作者机构：网络与交换国家重点实验室(北京邮电大学)北京100876 中国移动通信有限公司研究院北京100053 

基　　金：国家重点研发计划(2020YFB1807805) 国家自然科学基金(62071067,62001054,61771068) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2023年第34卷第4期

页      码：1765-1778页

摘      要：稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中, RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合,没有考虑到不用场景下不同模态特征的置信度.提出一种以输入深度稀疏分布为指导,结合双模态信息量的动态门控融合模块,通过动态产生融合权重的方式对两个模态特征进行更高效的结合.并且根据不同模态的数据特征设计了精简的网络结构.实验结果表明所提出模块和改进的有效性,提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上,使用了很少的参数量达到了先进的结果,取得了性能和速度的优秀平衡.

主 题 词：深度补全 特征融合 轻量模型 图像处理 自动驾驶 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006399

馆 藏 号：203121031...