摘要：受限于数据采集方式的多源异性与三维重建结果的昂贵标注,现有基于多景深图像聚焦信息的三维形貌重建方法通常需要根据具体应用场景设计,缺乏场景适应性.本文提出一种多景深图像数据集构建的理论与方法,并在此基础上设计具有良好鲁棒性的深度网络模型.构建的多景深图像数据集(MDFI Datasets)旨在剥离图像实际语义与深度信息的强关联性,通过联合输入图像序列的富纹理特性与三维形貌固有的同质与阶跃特性,提出形貌核函数非线性空间映射方法扩展数据集的多维性与多样性.设计的深度三维形貌重建网络模型(DSFF-Net)以U-Net为基础网络,添加可变形卷积模块(Deformable ConvNets v2)增强网络的特征提取能力,全新设计的局部-全局关系耦合模块(LGRCB)有助于提升模型全局聚焦信息的聚合能力.为验证MDFI Datasets的跨场景适用性和DSFF-Net模型的鲁棒性与泛化性,本文从四个不同方面进行实验对比分析.实验结果表明,相较于最先进的鲁棒聚焦体积正则化的聚焦形貌恢复算法(RFVR-SFF)和全聚焦深度网络(AiFDepth-Net),本文提出的DSFF-Net模型在RMSE指标上分别下降15%和29%;大景深场景实验表明,本文提出的数据集构建方法能够适应实际应用场景。

摘要：针对现有三维形貌重建模型无法有效融合全局时空信息的问题,设计深度聚焦体积(DFV)模块保留聚焦和离焦的过渡信息,并在此基础上提出全局时空特征耦合(GSTFC)模型提取多景深图像序列的局部与全局的时空特征信息。首先,在收缩路径中穿插3D-ConvNeXt模块和3D卷积层,捕捉多尺度局部时空特征,同时,在瓶颈模块中添加3D-SwinTransformer模块捕捉多景深图像序列局部时序特征的全局关联关系;然后,通过自适应参数层将局部时空特征和全局关联关系融合为全局时空特征,并输入扩张路径引导生成聚焦体积;最后,聚焦体积通过DFV提取序列权重信息,并保留聚焦与离焦的过渡信息,得到最终深度图。实验结果表明,GSTFC在FoD500数据集上的均方根误差(RMSE)相较于最先进的全聚焦深度网络(AiFDepthNet)下降了12.5%,并且比传统的鲁棒聚焦体积正则化的聚焦形貌恢复(RFVR-SFF)模型保留了更多的景深过渡关系。