自学习规则下的多聚焦图像融合

作     者：刘子闻 罗晓清 张战成 Liu Ziwen;Luo Xiaoqing;Zhang Zhancheng

作者机构：江南大学物联网工程学院无锡214122 苏州科技大学电子与信息工程学院苏州215009 

基　　金：国家自然科学基金项目(61772237) 江苏省六大人才高峰项目(XYDXX-030) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2020年第25卷第8期

页      码：1637-1648页

摘      要：目的基于深度学习的多聚焦图像融合方法主要是利用卷积神经网络(convolutional neural network,CNN)将像素分类为聚焦与散焦。监督学习过程常使用人造数据集,标签数据的精确度直接影响了分类精确度,从而影响后续手工设计融合规则的准确度与全聚焦图像的融合效果。为了使融合网络可以自适应地调整融合规则,提出了一种基于自学习融合规则的多聚焦图像融合算法。方法采用自编码网络架构,提取特征,同时学习融合规则和重构规则,以实现无监督的端到端融合网络;将多聚焦图像的初始决策图作为先验输入,学习图像丰富的细节信息;在损失函数中加入局部策略,包含结构相似度(structural similarity index measure,SSIM)和均方误差(mean squared error,MSE),以确保更加准确地还原图像。结果在Lytro等公开数据集上从主观和客观角度对本文模型进行评价,以验证融合算法设计的合理性。从主观评价来看,模型不仅可以较好地融合聚焦区域,有效避免融合图像中出现伪影,而且能够保留足够的细节信息,视觉效果自然清晰;从客观评价来看,通过将模型融合的图像与其他主流多聚焦图像融合算法的融合图像进行量化比较,在熵、Qw、相关系数和视觉信息保真度上的平均精度均为最优,分别为7.4574,0.9177,0.9788和0.8908。结论提出了一种用于多聚焦图像的融合算法,不仅能够对融合规则进行自学习、调整,并且融合图像效果可与现有方法媲美,有助于进一步理解基于深度学习的多聚焦图像融合机制。

主 题 词：多聚焦图像融合 自编码 自学习 端到端 结构相似度 

学科分类：1305[艺术学-设计学类] 13[艺术学] 08[工学] 081104[081104] 0804[工学-材料学] 0835[0835] 081101[081101] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.190614

馆 藏 号：203960286...