融合注意力机制的多模态动漫风格迁移方法

作     者：聂雄锋 王俊英 董方敏 臧兆祥 江曙 NIE Xiongfeng;WANG Junying;DONG Fangmin;ZANG Zhaoxiang;JIANG Shu

作者机构：三峡大学计算机与信息学院湖北宜昌443002 三峡大学湖北省建筑质量检测装备工程技术研究中心湖北宜昌443002 三峡大学水电工程智能视觉监测湖北省重点实验室湖北宜昌443002 

基　　金：国家自然科学基金新疆联合基金重点项目(U1703261) 湖北省水电工程智能视觉监测开放基金(2017SDSJ04) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2023年第59卷第15期

页      码：223-234页

摘      要：由于没有与图像的内容结构相匹配,目前的一些方法在针对具有复杂语义信息和显著性特征的图像的动漫风格迁移时,生成图像存在风格色彩不丰富、伪影、部分内容细节信息丢失等现象,提出一种融合注意力机制的多模态动漫风格迁移方法MastGAN-CBAM,将动漫图像特征聚类成若干子特征分量,并利用GraphCut算法使得这些特征分量和各局部内容图像特征相匹配,再利用Gram矩阵计算这些特征的风格损失,从而构造了一种多模态风格损失函数,由于这种风格损失适应了图像的多模态特征,因此能更有效地对网络参数进行优化和调整,此外方法还引入了混合域注意力机制,提高了模型的效率和准确性,进一步提升了动漫风格迁移效果。实验结果表明,该方法的生成图像细节更完整,动漫风格更显著,且减少了伪影,动漫化效果有一定程度的提高,在《千与千寻》等三组动漫数据集实验中FID评价指标分别达到了164.89、162.02、199.37,在视频动漫风格迁移中也取得了较好的效果。

主 题 词：深度学习 动漫风格迁移 生成对抗网络 多模态匹配 注意力机制 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3778/j.issn.1002-8331.2204-0338

馆 藏 号：203122915...