全局时空特征耦合的多景深三维形貌重建

作     者：张江峰 闫涛 陈斌 钱宇华 宋艳涛 ZHANG Jiangfeng;YAN Tao;CHEN Bin;QIAN Yuhua;SONG Yantao

作者机构：山西大学计算机与信息技术学院太原030006 山西大学大数据科学与产业研究院太原030006 山西省机器视觉与数据挖掘工程研究中心(山西大学)太原030006 哈尔滨工业大学重庆研究院重庆401151 哈尔滨工业大学(深圳)国际人工智能研究院广东深圳518055 

基　　金：国家自然科学基金资助项目(62006146) 山西省基础研究计划资助项目(201901D211170) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2023年第43卷第3期

页      码：894-902页

摘      要：针对现有三维形貌重建模型无法有效融合全局时空信息的问题,设计深度聚焦体积(DFV)模块保留聚焦和离焦的过渡信息,并在此基础上提出全局时空特征耦合(GSTFC)模型提取多景深图像序列的局部与全局的时空特征信息。首先,在收缩路径中穿插3D-ConvNeXt模块和3D卷积层,捕捉多尺度局部时空特征,同时,在瓶颈模块中添加3D-SwinTransformer模块捕捉多景深图像序列局部时序特征的全局关联关系;然后,通过自适应参数层将局部时空特征和全局关联关系融合为全局时空特征,并输入扩张路径引导生成聚焦体积;最后,聚焦体积通过DFV提取序列权重信息,并保留聚焦与离焦的过渡信息,得到最终深度图。实验结果表明,GSTFC在FoD500数据集上的均方根误差(RMSE)相较于最先进的全聚焦深度网络(AiFDepthNet)下降了12.5%,并且比传统的鲁棒聚焦体积正则化的聚焦形貌恢复(RFVR-SFF)模型保留了更多的景深过渡关系。

主 题 词：三维形貌重建 深度学习 有监督学习 时空特征耦合 深度图 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.11772/j.issn.1001-9081.2022101589

馆 藏 号：203118858...