摘要：为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。

摘要：深度学习在风格迁移领域的应用使一系列以图片艺术风格化为核心的产品真正落地,而从像素级损失向基于Gram矩阵的感知损失的转变是其中最关键的跨越。Gram矩阵在艺术风格特征的提取上有良好的效果,但其局限于同等级语义特征间相关性统计的做法并不能作为艺术风格的充分表示。自Gram矩阵被提出以来,一系列研究并未对其进行充分的研究和改进,而是关注于模型结构的设计以提高风格迁移的速度。提出使用层间互相关矩阵作为Gram矩阵的代替或补充进行风格迁移任务的风格损失函数计算。实验表明,在得到相似水平输出结果的情况下,使用层间互相关矩阵方法可以降低20%的计算时间。

摘要：针对某些监控图像清晰度低带来的辨识难度大等问题,分析了SRGAN模型的超分特性,提出了一种基于超分算法的Web应用平台的解决办法。采用感知损失作为模型的训练指标,搭建生成器网络和判别器网络,对生成器网络和判别器网络进行交替训练,通过最小化重建损失学习如何生成视觉上接近高分辨率的图像。结果表明,基于SRGAN模型实现的监控图像超分辨率技术不仅在像素级别上重建图像,而且在视觉质量上进行优化,生成更加细腻和逼真的超分辨率图像。

摘要：针对现阶段由素描头像生成的彩色头像图像清晰度低、人脸识别率不高和视觉质量不佳等问题,提出一种改进CycleGAN的素描头像彩色化算法:对U-Net自编码器的第一个特征提取模块进行优化,设计一种多尺度自注意力机制特征提取模块,从多个尺度提取输入图像以减少输入图像的细节信息丢失,将提取的特征用通道堆叠的方式进行特征融合,对融合的特征嵌入SENet自注意力机制,以引导模型对特征重点区域的关注度,最后再降低融合特征的通道维数;对生成头像与真实头像添加L1像素损失和感知损失,以进一步提升生成头像的质量.实验结果表明:较基础模型CycleGAN生成的彩色头像,在CUHK数据集FID值降低了22.23、Rank-1值提高了16%,在AR数据集FID值降低了15.34、Rank-1值提高了9.3%.

摘要：目的现存的去噪算法中很多在去除噪声的同时都存在边缘信息过光滑、易产生彩色伪影的问题,为了解决这些缺点,本文提出了一种基于联合感知损失的深度残差去噪网络。方法首先利用低通滤波器将噪声图片分解成高频层和低频层,然后将包含噪声和边缘信息的高频层输入设计好的残差网络中,通过常规逐像素损失方法学习端到端的残差映射预测出噪声残差图片,再由一个从输入直接通往输出的全局跳跃连接处理得到初始较模糊的去噪结果,最后级联一个预训练好的语义分割网络用来定义感知损失,指导前面的去噪模型学习更多语义特征信息来增强被模糊的边缘细节,得到更清晰真实的去噪结果。结果本文从定性和定量两个方面进行对比实验。以峰值信噪比(PSNR)作为量化指标来评价算法性能,结果表明所提出的网络在同其他对比方法一样使用逐像素损失训练时能产生最好的指标结果,在Set5、Set14和BSD100测试集25噪声级别时的结果分别为30. 51 d B、30. 60 d B和29. 38 d B。在视觉定性分析上,本文提出的感知损失模型明显取得了更清晰的去噪结果,相比其他方法产生的模糊区域该方法保留了更多的边缘信息和纹理细节。此外还进行了盲去噪测试实验,对一张含有不同噪声级别的图片进行去噪处理,结果表明本文训练好的算法模型可以一次性处理多种未知级别的噪声并产生满意的去噪输出而且没有多余伪影。结论基于边缘增强的感知损失残差网络的图像去噪算法在去除噪声的同时可以保留更多容易被模糊的边缘细节,改善去噪结果过平滑的问题,提高图像视觉效果。

摘要：目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层(AdaIN)模块和多层感知机(MLP)模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性(lpips)作为内容损失函数,二分类交叉熵(binary cross entropy)损失函数(BCELoss)作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。

摘要：图像彩色化是指预测灰度图像的颜色信息,虽然使用深度学习方法可自动地对灰度图像彩色化,但对图像中不同尺度目标的彩色化质量不高,尤其是在对复杂物体和小目标物体彩色化时,存在颜色溢出、误着色和图像颜色不一致的问题.针对上述问题,文中提出多视野特征表示的灰度图像彩色化方法.首先,设计多视野特征表示模块(Multi-field Feature Represented Block,MFRB),与改进的U-Net结合得到多视野特征表示U-Net.然后,将灰度图像输入U-Net中,并通过与判别器的对抗训练得到彩色图像.最后,利用VGG-19网络在不同尺度上计算图像的感知损失,提高图像彩色化结果的整体一致性.在不同类别的6个数据集上的实验表明,文中方法能有效提高彩色化图像质量,产生颜色更丰富、色调更一致的彩色图像,并在客观评价指标和主观感受上都较优.

摘要：字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。

摘要：敦煌壁画存在多种病害造成的不规则破损区域,运用数字修复的方式对其进行恢复,既不会对原始壁画造成损坏,又可以获得较好的修补效果。由于壁画修补问题中缺失的区域较大,不能用局部非语义的修补方法来实现。针对敦煌壁画缺损区域的修复问题,设计了基于生成对抗网络的图像修补方法,使用语义上合理的内容来渲染缺失区域的像素,实现非接触性壁画场景重建,从而提升壁画虚拟修复准确度。该算法在生成对抗神经网络的基础上引入感知损失函数,在生成模型中添加3层扩张卷积层来收集破损区域的图像特征,利用感知损失提升模型对高频纹理细节的修复能力,运用扩展卷积提取范围特征激励生成模型生成较高质量的图像结果。在敦煌壁画数据集上将所提方法与3种优秀方法进行了比较,修复结果显示所提算法在测试数据集上的PSNR评分提高了1.79%,SSIM评分提高了7.7%。所提修复模型提升了破损壁画的修复精度,使修复结果更加准确。

摘要：多种退化类型混合的图像比单一类型的退化图像降质更严重,很难建立精确模型对其复原,研究端到端的神经网络算法是复原的关键.现有的基于操作选择注意力网络的算法(operation-wiseattentionnetwork,OWAN)虽然有一定的性能提升,但是其网络过于复杂,运行较慢,复原图像缺乏高频细节,整体效果也有提升的空间.针对这些问题,提出一种基于层级特征融合的自适应复原算法.该算法直接融合不同感受野分支的特征,增强复原图像的结构;用注意力机制对不同层级的特征进行动态融合,增加模型的自适应性,降低了模型冗余;另外,结合L1损失和感知损失,增强了复原图像的视觉感知效果.在DIV2K,BSD500等数据集上的实验结果表明,该算法无论是在峰值信噪比和结构相似性上的定量分析,还是在主观视觉质量方面,均优于OWAN算法,充分证明了该算法的有效性.