基于一致性感知特征融合的高动态范围成像方法

作     者：印佳丽 韩津 陈斌 刘西蒙 YIN Jia-Li;HAN Jin;CHEN Bin;LIU Xi-Meng

作者机构：福州大学计算机与大数据学院福州350108 福州大学网络系统信息安全福建省高校重点实验室福州350108 

基　　金：国家自然科学基金(62202104,62102422,62072109,U1804263) 福建省自然科学基金(2021J05129,2021J06013)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2024年第47卷第10期

页      码：2352-2367页

摘      要：高动态范围成像(High Dynamic Range Imaging,HDRI)技术是指通过融合多张低动态范围(Low Dynamic Range,LDR)图像拓展图像动态范围、完整图像内容的方法,其为解决由于相机传感器动态范围有限而导致所拍摄图像内容丢失的问题提供了实际的解决方案.通过数十年的研究,众多有效的HDRI方法已被提出,并在无物体运动、内容曝光良好的静态场景中取得接近最优的性能.然而,现实场景中物体移动和相机偏移无法避免,直接使用传统HDRI方法会在融合后的HDR图像中产生严重的重影和伪影.这使得仅包含简单融合过程的HDRI方法并不适用于实际应用,现实场景中的HDRI任务仍然具有一定挑战.因此,针对动态场景下的HDRI研究迅速发展.近期的方法集中在借助深度卷积神经网络(Convolutional Neural Network,CNN)的力量以期实现更好的性能.在这些基于CNN的方法中,特征融合对于恢复图像完整内容、消除图像伪影方面起着至关重要的作用.传统的特征融合方法通过借助跳跃连接或注意力模块,首先将LDR图像的特征进行拼接,并通过堆叠的卷积操作逐渐关注不同的局部特征.然而,此类方案通常忽略了LDR图像序列之间丰富的上下文依赖关系,且未充分利用特征之间的纹理一致性.为解决这一问题,本文提出了一种全新的一致性感知特征融合(Coherence-Aware Feature Aggregation,CAFA)方案,该方案在卷积过程中对输入特征中位于不同空间位置但具有相同上下文信息的特征信息进行采样,从而显式地将上下文一致性纳入特征融合中.基于CAFA,本文进一步提出了一种结合CAFA的动态场景下一致性感知高动态范围成像网络CAHDRNet.为更好地嵌合CAFA方案,本文通过设计三个额外的可学习模块来构建CAHDRNet.首先,使用基于在ImageNet上预训练的VGG-19构建可学习特征提取器,并在模型训练期间不断更新该特征提取器的参数.这种设计可实现LDR图像的联合特征学习,为CAFA中的上下文一致性评估奠定了坚实基础.接着,应用所提出的CAFA模块,通过在图像特征中采样具有相同上下文的信息进行特征融合.最后,本文提出使用一种多尺度残差补全模块来处理融合后的特征,利用不同扩张率进行特征学习,以实现更强大的特征表示并在图像缺失区域中进行可信细节填充.同时,设计一个软注意力模块来学习不同图像区域的重要性,以便在跳跃连接期间获得与参考图像互补的所需特征.多种实验验证了CAHDRNet的有效性并证实其优于现有最先进的方法.具体而言,本文所提出的CAHDRNet在Kalantari数据集上HDR-VDP-2和PSNR-L等指标相较于次好方法AHDRNet分别提升了1.61和0.68.

主 题 词：高动态范围成像 图像融合 特征融合 上下文一致性 卷积采样 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2024.02352

馆 藏 号：203143963...