摘要：深度学习在风格迁移领域的应用使一系列以图片艺术风格化为核心的产品真正落地,而从像素级损失向基于Gram矩阵的感知损失的转变是其中最关键的跨越。Gram矩阵在艺术风格特征的提取上有良好的效果,但其局限于同等级语义特征间相关性统计的做法并不能作为艺术风格的充分表示。自Gram矩阵被提出以来,一系列研究并未对其进行充分的研究和改进,而是关注于模型结构的设计以提高风格迁移的速度。提出使用层间互相关矩阵作为Gram矩阵的代替或补充进行风格迁移任务的风格损失函数计算。实验表明,在得到相似水平输出结果的情况下,使用层间互相关矩阵方法可以降低20%的计算时间。

摘要：目的现存的去噪算法中很多在去除噪声的同时都存在边缘信息过光滑、易产生彩色伪影的问题,为了解决这些缺点,本文提出了一种基于联合感知损失的深度残差去噪网络。方法首先利用低通滤波器将噪声图片分解成高频层和低频层,然后将包含噪声和边缘信息的高频层输入设计好的残差网络中,通过常规逐像素损失方法学习端到端的残差映射预测出噪声残差图片,再由一个从输入直接通往输出的全局跳跃连接处理得到初始较模糊的去噪结果,最后级联一个预训练好的语义分割网络用来定义感知损失,指导前面的去噪模型学习更多语义特征信息来增强被模糊的边缘细节,得到更清晰真实的去噪结果。结果本文从定性和定量两个方面进行对比实验。以峰值信噪比(PSNR)作为量化指标来评价算法性能,结果表明所提出的网络在同其他对比方法一样使用逐像素损失训练时能产生最好的指标结果,在Set5、Set14和BSD100测试集25噪声级别时的结果分别为30. 51 d B、30. 60 d B和29. 38 d B。在视觉定性分析上,本文提出的感知损失模型明显取得了更清晰的去噪结果,相比其他方法产生的模糊区域该方法保留了更多的边缘信息和纹理细节。此外还进行了盲去噪测试实验,对一张含有不同噪声级别的图片进行去噪处理,结果表明本文训练好的算法模型可以一次性处理多种未知级别的噪声并产生满意的去噪输出而且没有多余伪影。结论基于边缘增强的感知损失残差网络的图像去噪算法在去除噪声的同时可以保留更多容易被模糊的边缘细节,改善去噪结果过平滑的问题,提高图像视觉效果。

摘要：为解决自然场景中仪表图像受复杂光照、背景及其他随机干扰所造成的读数识别难题,提出一种基于循环一致对抗学习的段码液晶仪表读数识别方法。该方法使用M-CRAFT作为字符检测网络,获取段码读数区域和段码字符位置,通过后处理算法分割得到段码字符子图像,然后以循环一致对抗域自适应网络CYCADA为基础,增加感知损失和重构损失并设计分类器,构建了一种改进的字符背景分离与识别网络I-CYCADA,用于将具有复杂背景的段码字符图像转换为清晰直观的二值图像,从而使读数识别变得更为简单和准确。为了验证该方法的有效性,构建了由多种复杂场景下的液晶段码仪表图像组成的数据集。实验结果表明,I-CYCADA可与不同CNN分类网络结合使用,均能提升转换后的段码字符图像的识别准确率,本文方法在自建数据集上的字符级识别准确率达95.39%,完整读数识别准确率达86.65%,有效改善了对困难样本的识别效果,且轻量级设计可满足实时性要求。

摘要：目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层(AdaIN)模块和多层感知机(MLP)模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性(lpips)作为内容损失函数,二分类交叉熵(binary cross entropy)损失函数(BCELoss)作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。

摘要：多种退化类型混合的图像比单一类型的退化图像降质更严重,很难建立精确模型对其复原,研究端到端的神经网络算法是复原的关键.现有的基于操作选择注意力网络的算法(operation-wiseattentionnetwork,OWAN)虽然有一定的性能提升,但是其网络过于复杂,运行较慢,复原图像缺乏高频细节,整体效果也有提升的空间.针对这些问题,提出一种基于层级特征融合的自适应复原算法.该算法直接融合不同感受野分支的特征,增强复原图像的结构;用注意力机制对不同层级的特征进行动态融合,增加模型的自适应性,降低了模型冗余;另外,结合L1损失和感知损失,增强了复原图像的视觉感知效果.在DIV2K,BSD500等数据集上的实验结果表明,该算法无论是在峰值信噪比和结构相似性上的定量分析,还是在主观视觉质量方面,均优于OWAN算法,充分证明了该算法的有效性.

摘要：图像彩色化是指预测灰度图像的颜色信息,虽然使用深度学习方法可自动地对灰度图像彩色化,但对图像中不同尺度目标的彩色化质量不高,尤其是在对复杂物体和小目标物体彩色化时,存在颜色溢出、误着色和图像颜色不一致的问题.针对上述问题,文中提出多视野特征表示的灰度图像彩色化方法.首先,设计多视野特征表示模块(Multi-field Feature Represented Block,MFRB),与改进的U-Net结合得到多视野特征表示U-Net.然后,将灰度图像输入U-Net中,并通过与判别器的对抗训练得到彩色图像.最后,利用VGG-19网络在不同尺度上计算图像的感知损失,提高图像彩色化结果的整体一致性.在不同类别的6个数据集上的实验表明,文中方法能有效提高彩色化图像质量,产生颜色更丰富、色调更一致的彩色图像,并在客观评价指标和主观感受上都较优.

摘要：为了提高PET重建的图像质量,提出一种基于空洞U-Net神经网络(Dilated U-Net,D-Unet)的PET图像重建方法。首先,在不增加参数量的情况下,为了更好地增强上下文语义信息,提取更深层次的图像特征,设计了嵌套空洞卷积的残差块(residual dense blocks nested with dilations,RnD Blocks)对含有径向条纹伪影和高噪声的图像进行处理。另外,结合基于预先训练的VGG网络特征的感知损失代替传统的均方误差作为训练损失函数来保留图像细节,构建了端到端的PET图像重构网络。实验结果表明,该算法在降低复杂性、保持较高收敛速度的同时,能够更好地抑制噪声,重构效果相比于传统方法有明显提高。

摘要：字体迁移是一项十分具有挑战性的任务,其目的是将目标字体通过某种映射方式迁移到源字体,以实现字体的变换。现有的方法在字体迁移方面的鲁棒性有限,突出表现为对生成字体结构完整性的保持较差,尤其是当两种不同种类的字体差别较大时。针对这些问题,提出了一种端到端的字体迁移网络框架模型。该模型引入了注意力归一化以更好地提取字形图像的高级语义特征,从而提高生成图像的质量。此外,使用自适应实例归一化进行字体特征和内容特征融合,以实现字体的转换。在保持字形结构完整性方面,设计了感知损失和上下文损失来约束字形结构的生成。为了稳定GAN网络的训练,在对抗损失函数的设计中加入了正则化项。为了验证该模型的有效性,实验采用FET-GAN中公开的数据集进行了多组训练和测试,并与FET-GAN,CycleGAN和StarGANv2进行了对比。实验结果表明,该模型能够在给定的多个字体域之间实现相互的字体迁移,并且其迁移的效果和模型泛化能力与其他工作相比均具有一定的优势。

摘要：敦煌壁画存在多种病害造成的不规则破损区域,运用数字修复的方式对其进行恢复,既不会对原始壁画造成损坏,又可以获得较好的修补效果。由于壁画修补问题中缺失的区域较大,不能用局部非语义的修补方法来实现。针对敦煌壁画缺损区域的修复问题,设计了基于生成对抗网络的图像修补方法,使用语义上合理的内容来渲染缺失区域的像素,实现非接触性壁画场景重建,从而提升壁画虚拟修复准确度。该算法在生成对抗神经网络的基础上引入感知损失函数,在生成模型中添加3层扩张卷积层来收集破损区域的图像特征,利用感知损失提升模型对高频纹理细节的修复能力,运用扩展卷积提取范围特征激励生成模型生成较高质量的图像结果。在敦煌壁画数据集上将所提方法与3种优秀方法进行了比较,修复结果显示所提算法在测试数据集上的PSNR评分提高了1.79%,SSIM评分提高了7.7%。所提修复模型提升了破损壁画的修复精度,使修复结果更加准确。

摘要：为解决低码率下更符合人类视觉感知的图像压缩,提出一种基于增强型多尺度残差生成对抗网络的有损压缩方法。在网络框架的自动编码器中,使用一种结构上改进的增强型多尺度残差块,其可以扩大感受野,更容易获得图像的全局信息。引入简易注意力模块,帮助网络更加关注图像复杂的部分,减少简单部分的比特。判别器部分采用全新的相对平均判别器,在网络框架中使用LPIPS(learned perceptual image patch similarity)感知损失减轻图像伪影问题。采用两阶段训练的方式解决引入生成对抗网络导致训练不稳定的问题。实验结果表明了在低码率下所提模型的有效性,与之前的工作相比,所提方法在感知失真指标上表现更优,性能提升了65%左右,重建图像更符合人类视觉感知。