基于通道多尺度融合的场景深度图超分辨率网络

作     者：缪永伟 张新杰 任瀚实 张佳婧 孙树森 Miao Yongwei;Zhang Xinjie;Ren Hanshi;Zhang Jiajing;Sun Shusen

作者机构：浙江理工大学计算机科学与技术学院杭州310018 杭州师范大学信息科学与技术学院杭州311121 

基　　金：国家自然科学基金(61972458) 浙江省自然科学基金(LZ23F020002) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2023年第35卷第1期

页      码：37-47页

摘      要：针对传统消费级深度相机采集的场景深度图通常存在分辨率低、深度图模糊等缺陷,利用场景高分辨率彩色图引导,提出一种基于通道多尺度融合的场景深度图超分辨率网络——CMSFN.为了有效地利用场景深度图的多尺度信息,CMSFN采用金字塔多尺度结构,在金字塔各层级上,通过对低分辨率深度图进行通道多尺度上采样,并结合残差学习提升深度图分辨率.首先,在超分辨率网络金字塔结构每一层级上对深度特征图与同尺度彩色特征图通过密集连接进行融合,使场景彩色-深度图特征得到复用并能够充分融合场景结构信息;其次,对融合后的深度特征图进行通道多尺度划分,使网络能获得不同大小的感受野,并在不同尺度上有效捕捉特征信息;最后,在CMSFN中加入全局与局部残差结构,使网络在恢复场景深度图高频残差信息的同时缓解梯度消失.对于Middlebury数据集A组,CMSFN方法超分辨率均方根误差平均为1.33,与MFR和PMBANet方法相比,分别降低了6.99%和26.92%;对于Middlebury数据集B组,CMSFN方法超分辨率均方根误差平均为1.41,与MFR和PMBANet方法相比,分别降低了9.03%和17.05%.实验结果表明,CMSFN能够有效地恢复场景深度图的结构信息.

主 题 词：深度图像 超分辨率 多尺度 残差学习 密集连接 

学科分类：08[工学] 080203[080203] 0714[0714] 0802[工学-机械学] 0701[理学-数学类] 

核心收录：

D　O　I：10.3724/SP.J.1089.2023.19328

馆 藏 号：203118964...