基于潜在空间的动漫人脸风格迁移与编辑方法
作者机构：北京邮电大学北京100876 国电南瑞科技股份有限公司江苏南京211106 北方工业大学北京100144
基 金：北京市人文社科基金(24YTB014) 教育部人文社科基金(19YJC760150) 北京邮电大学校级项目(2023YB22,2024Y017)
出 版 物：《系统仿真学报》 (Journal of System Simulation)
年 卷 期：2024年第36卷第12期
页 码：2834-2849页
摘 要：为解决现有图像仿真中动漫风格迁移网络存在图像失真和风格单一等问题,提出了适用于动漫人脸风格迁移和编辑的TGFE-TrebleStyleGAN(text-guided facial editing with TrebleStyleGAN)网络框架。利用潜在空间的向量引导生成人脸图像,并在TrebleStyleGAN中设计了细节控制模块和特征控制模块来约束生成图像的外观。迁移网络生成的图像不仅用作风格控制信号,还用作约束细粒度分割后的编辑区域。引入文本生成图像技术,捕捉风格迁移图像和语义信息的关联性。通过在开源数据集和自建配对标签的动漫人脸数据集上的实验表明:相较于基线模型DualStyleGAN,该模型的FID降低了2.819,SSIM与NIMA分别提升了0.028和0.074。集成风格迁移与编辑的方法能够确保在生成过程中既保留原有动漫人脸细节风格,又具备灵活的编辑能力,减少了图像的失真问题,在生成图像特征的一致性和动漫人脸图像风格相似性中表现更优。
主 题 词：动漫风格迁移 生成对抗网络 潜在空间 动漫人脸编辑 文本引导图像生成
学科分类：08[工学] 080203[080203] 0802[工学-机械学]
核心收录：
D O I：10.16182/j.issn1004731x.joss.24-FZ0797
馆 藏 号：203156308...
