基于多路编码器和双重注意力的古画修复算法

作     者：赵磊 吉柏言 邢卫 林怀忠 林志洁 Zhao Lei;Ji Boyan;Xing Wei;Lin Huaizhong;Lin Zhijie

作者机构：浙江大学计算机科学与技术学院杭州310027 浙江科技学院信息与电子工程学院杭州310023 

基　　金：浙江省尖兵计划项目(2022C01222) 国家重点研发计划项目(2020YFC1522704) 国家自然科学基金项目(62172365) 浙江省自然科学基金项目(LY21F020005,LY19F020049) 国家社科基金重大项目(19ZDA197) 浙江省文物保护科技项目(2019011) 石窟寺文物数字化保护国家文物局重点科研基地项目 浙江大学教育部脑与脑机融合前沿科学中心项目(2021008) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2023年第60卷第12期

页      码：2814-2831页

摘      要：绘画是重要的文化艺术形式,数千年以来,我国古代产生了大量的绘画作品,包含有丰富的文化、艺术、科学与历史价值,但是由于自然灾害(地震)与自然风化以及人类越来越多的经济活动等种种原因导致部分绘画作品存在或多或少的残损或者大块缺失,严重影响了基于这些绘画作品的鉴赏、文化创意、文化传播等活动.与自然图像相比,古画图像的自相似性通常较高,有着明显的风格特点、丰富和细腻的纹理.尽管目前在自然图像上的修复技术已经取得了令人印象深刻的进展,但是这些算法还不能直接用于中国古画的修复.结合中国古画的特点对算法和模型结构进行设计,提出了基于多路编码器和双重注意力机制的中国古画修复算法,目标是对内容受损的古画进行自动化修复.为了能够较好地从多个尺度来修复古画,采用了多路编码器来学习古画不同尺度的语义特征,通过学习到的宏观、中观、微观的语义特征来对古画进行修复,解决了古画丰富和细腻的纹理修复困难问题.为了更好地学习古画的全局语义特征,使得修复后的古画整体更加和谐一致,采用了双重注意力模块分别从风格和内容2个方面来学习古画的全局语义特征.为了验证提出的算法的先进性,制作了一个古画数据集,在该数据集上的实验证明,提出的算法相对于目前最先进的算法而言具有较好的修复质量.

主 题 词：绘画图像修复 多路编码器 双重注意力机制 风格表达 多尺度修复 

学科分类：0402[教育学-体育学类] 0303[法学-社会学类] 081203[081203] 08[工学] 0805[工学-能源动力学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.202220648

馆 藏 号：203125009...