面向本征图像分解的高质量渲染数据集与非局部卷积网络

作     者：王玉洁 樊庆楠 李坤 陈冬冬 杨敬钰 卢健智 Dani Lischinski 陈宝权 Wang Yujie;Fan Qingnan;Li Kun;Chen Dongdong;Yang Jingyu;Lu Jianzhi;Dani Lischinski;Chen Baoquan

作者机构：山东大学青岛266237 腾讯AI Lab深圳518057 天津大学天津300072 微软云人工智能美国华盛顿98052 广东三维家信息科技有限公司广州510000 耶路撒冷希伯来大学以色列耶路撒冷91904 北京大学北京100091 

基　　金：国家自然科学基金项目(62136001) 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2022年第27卷第2期

页      码：404-420页

摘      要：目的本征图像分解是计算视觉和图形学领域的一个基本问题,旨在将图像中场景的纹理和光照成分分离开来。基于深度学习的本征图像分解方法受限于现有的数据集,存在分解结果过度平滑、在真实数据泛化能力较差等问题。方法首先设计基于图卷积的模块,显式地考虑图像中的非局部信息。同时,为了使训练的网络可以处理更复杂的光照情况,渲染了高质量的合成数据集。此外,引入了一个基于神经网络的反照率图像优化模块,提升获得的反照率图像的局部平滑性。结果将不同方法在所提的数据集上训练,相比之前合成数据集CGIntrinsics进行训练的结果,在IIW(intrinsic images in the wild)测试数据集的平均WHDR(weighted human disagreement rate)降低了7.29%,在SAW(shading annotations in the wild)测试集的AP(average precision)指标上提升了2.74%。同时,所提出的基于图卷积的神经网络,在IIW、SAW数据集上均取得了较好的结果,在视觉结果上显著优于此前的方法。此外,利用本文算法得到的本征结果,在重光照、纹理编辑和光照编辑等图像编辑任务上,取得了更优的结果。结论所提出的数据集质量更高,有利于基于神经网络的本征分解模型的训练。同时,提出的本征分解模型由于显式地结合了非局部先验,得到了更优的本征分解结果,并通过一系列应用任务进一步验证了结果。

主 题 词：图像处理 图像理解 本征图像分解 图卷积网络(GCN) 合成数据集 

学科分类：081203[081203] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11834/jig.210705

馆 藏 号：203107577...