摘要：网络广告费的收取通常是以用户的点击次数来计算的,因此如何准确地预估点击率(CTR)是广告公司十分关心的问题.当前先进水平的方法集中在构建各种高阶特征交互模型来预估CTR,但是高阶特征交互会丢失低阶信息,尤其是丢失原始特征的信息.为此,本文提出一个新的逐层残差交互网络,它在每次交互时都考虑原始特征的引导作用,被命名为逐层残差交互网(LRIN).LRIN强调高阶特征交互应该建立在原始特征逐层交互的基础上.n阶特征交互由原始特征与n-1阶特征通过元素积运算得到.进而,本文引入了多尺度方法来设计注意力网络.受逐层交互的影响,注意力网络也被设计成多层,称之为逐层注意力网络.为了将二者结合起来,本文提出将逐层残差交互网络的输出作为逐层注意力网络的权重,由此形成了一种新的双网络训练模型.在多个benchmark数据集上的实验结果表明,LRIN的性能比当前先进的方法在Criteo数据集上平均提高1.24%,在Avazu数据集上平均提高2.16%,在MovieLens-1M数据集上平均提高了1.3%,在Book-Crossing数据集上平均提高了1.27%.

摘要：高光谱图像具有较高的空间分辨率,蕴含着丰富的空间光谱信息,近年来被广泛用于城市地物分类中。在高光谱图像分类过程中,空间光谱特征的提取直接影响着分类精度;传统的高光谱图像特征提取方法只利用了4或8邻域的像素进行简单卷积处理,因而丢失了大量的复杂、有效信息;卷积神经网络(CNN)虽然可以自动提取空间光谱特征,在保留图像空间信息的同时,简化网络模型,但是,随着网络深度增加,网络分类产生退化现象,而且网络间缺乏相关信息的互补性,从而影响分类精度。该工作引入CNN自动提取空间光谱特征,并且针对CNN深度增加所导致的退化问题,设计了面向地物分类的高光谱特征融合残差网络。首先,为了降低高光谱图像的光谱冗余度,利用PCA提取主要光谱波段;然后,为了逐级提取光谱图像的空间光谱特征,定义了卷积核为16,32,64的低、中、高3层残差网络模块,并利用64个1×1的卷积核对3层特征输出进行卷积,完成维度匹配与特征图融合;接着,对融合后的特征图进行全局平均池化(GAP)生成用于分类的特征向量;最后,引入具有可调节机制的Large-Margin Softmax损失函数,监督模型完成训练过程,实现高光谱图像分类。实验采用Indian Pines,University of Pavia和Salinas地区的高光谱图像来验证方法有效性,设置批次训练的样本集为100,网络训练的初始学习率为0.1,当损失函数稳定后学习率降低为0.001,动量为0.9,权重延迟为0.000 1,最大训练迭代次数为2×10^4,当3个数据集的样本块像素分别设置为25×25,23×23,27×27,网络深度分别为28,32和28时,3个数据集的分类准确率最高,其平均总体准确率(OA)为98.75%、平均准确率(AA)的评价值为98.1%,平均Kappa系数为0.98。实验结果表明,基于残差网络的分类方法能够自动学习更丰富的空间光谱特征,残差网络层数的增加和不同网络层融合可以提高高光谱分类精度;Large-Margin Softmax实现了类内紧凑和类间分离,可以进一步提高高光谱图像分类精度。

摘要：针对长短期记忆(LSTM)网络对于多维数据特征识别和提取上存在不足的问题,在其改进模型嵌套式长短期记忆(NLSTM)网络的基础上,提出了一种基于注意力机制和残差NLSTM网络的剩余使用寿命预测方法。该方法将双层NLSTM网络代替残差块中的主网络,保留捷径连接中的卷积神经网络结构,既能充分提取时序特征又能保证有用数据在网络层中的跳层传递,并融入注意力机制构建多层残差网络,注意力机制的使用能够选择出对预测结果有重要影响的信息,有效提高预测的准确率。在航空发动机退化实验数据集上进行实验分析,结果表明:所述方法能有效建立监测数据与发动机健康状态之间的关系,剩余使用寿命预测误差较未改进残差结构方法平均降低10.8%,比未融入注意力机制方法平均降低18.9%,有效提高了预测精度。

摘要：针对城市声音识别过程中时频图像特征提取较困难的问题,提出一种可变形特征图残差网络用于城市声音识别.首先设计可变形特征图残差模块,包括偏移层与卷积层.偏移层将输入特征图的像素点移位,移位后的特征图通过快捷连接与卷积层提取到的特征图叠加,使网络集中在感兴趣的特征图区域采样,并向下级网络传递移位后特征图信息;其次设计可变形卷积残差网络;最后将该网络提取的特征与城市声音的梅尔倒谱系数融合,经压缩激励模块重标定后输入全连接层分类.在城市声音数据集上进行了实验,结果表明,与卷积神经网络的方法相比,该方法用于城市声音识别准确率提高5%以上.

摘要：为了提高图像目标的检测精度,提出一种在残差网络下设计基于困难样本挖掘的目标检测算法。首先阐述基于深度学习的目标检测算法,即超快速区域卷积神经网络(Faster R-CNN)的工作原理,分析该算法存在的不足与改进方式。在Faster R-CNN的基础上,为了使模型能提取更有效的深度卷积特征,选取网络更深的残差网络替换原始的ZF或VGG网络。为了使学习到的网络模型有更强的泛化能力,在网络训练过程中,利用困难样本更新网络参数,使网络训练更充分。在Pascal VOC2007、Pascal VOC2007+Pascal VOC2012和BIT这三个数据集中进行训练和测试,实验结果显示,融合了两种方法的Faster R-CNN在这三个数据集上的检测精度分别提升了3.5%、7.1%、6.4%,提升效果明显。

摘要：快速、准确、适用性强的重建算法是可调谐二极管激光吸收光谱层析成像(TDLAT)的核心研究内容之一。现有算法一般取位于燃烧场中心的某局部区域作为感兴趣区域(RoI),利用整个燃烧场对激光束的光谱吸收值重建RoI这一局部区域内的气体参数分布。重建结果与实际情况存在一定偏差。针对这一问题,该文研究燃烧场的空间层次化离散方法,进而为TDLAT系统设计一种基于残差网络(ResNet)的层次化温度层析成像方案(HTT-ResNet)。该方案能够根据有限数量的光谱吸收测量值完整重建整个燃烧场的温度图像,并对计算资源与燃烧场不同空间区域的成像分辨率进行优化配置,着重实现RoI内温度分布的高空间分辨率成像。利用随机多模态高斯火焰模型与实际TDLAT系统测量数据进行的实验均表明,HTT-ResNet重建的温度图像能够准确定位火焰的空间位置、清晰描述燃烧场的温度分布。

摘要：计算机辅助肺结节良恶性诊断对肺癌的及时治疗具有重要意义。针对计算机辅助诊断系统中肺结节良恶性诊断准确率较低,误诊率、错诊率相对较高的现状,提出一种基于残差网络的肺结节良恶性分类模型。首先选择部分LIDC-IDRI的肺部CT图像(共计10402幅)作为数据集,然后通过图像的水平翻转对数据进行扩增,再将图像转为单通道,并进行裁剪及归一化等处理,最后将数据分为训练集与测试集(7∶3),对所设计的残差网络(ResNet-26)进行训练与测试。完成训练后,测试得到肺结节良恶性分类准确率、敏感性及特异性分别为97.53%,97.91%及97.18%,计算得出AUC为0.958。通过对比,实验结果在各个指标均优于现存的其他多种方法,其分类结果可为医生的诊断提供较好的辅助参考。

摘要：目前,基于深度学习的超分辨算法已经取得了很好性能,但这些方法通常具有较大内存消耗和较高计算复杂度,很难应用到低算力或便携式设备上.为了解决这个问题,设计一种轻量级的组−信息蒸馏残差网络(Group-information distillation residual network,G-IDRN)用于快速且精确的单图像超分辨率任务.具体地,提出一个更加有效的组−信息蒸馏模块(Group-information distillation block,G-IDB)作为网络特征提取基本块.同时,引入密集快捷连接,对多个基本块进行组合,构建组−信息蒸馏残差组(Group-information distillation residual group,G-IDRG),捕获多层级信息和有效重利用特征.另外,还提出一个轻量的非对称残差Non-local模块,对长距离依赖关系进行建模,进一步提升超分性能.最后,设计一个高频损失函数,去解决像素损失带来图像细节平滑的问题.大量实验结果表明,该算法相较于其他先进方法,可以在图像超分辨率性能和模型复杂度之间取得更好平衡,其在公开测试数据集B100上,4倍超分速率达到56 FPS,比残差注意力网络快15倍.

摘要：针对基于生成对抗网络的多数图像修复算法所修复的图像纹理细节不清晰,不能充分融合神经网络提取的纹理细节信息和语义信息的问题,本文提出一种基于残差网络和特征融合的双阶段生成网络图像修复模型,通过修复训练集中被遮挡的图像,获取符合训练集整体分布的修复图像。首先,设计一种轻量型多尺度感受野残差模块,通过多个感受野不同的卷积核提取特征信息,提升粗化生成网络保留纹理信息的能力。其次构建一种双边精细修复网络结构,分别处理纹理细节信息和语义信息并进行聚合,实现图像的精细修复。最后基于GWHD数据集进行实验,验证本文算法的有效性。实验结果表明,本文模型较CE、GL、PEN-Net、CA算法,客观评价指标L1-loss降低0.56~3.79个百分点,PSNR和SSIM提升0.2~1.8 dB和0.02~0.08,并在人眼直观感受中实现了纹理结构清晰、语义特征合理的修复效果。相较于原GWHD数据集,在基于本文模型所扩充的小麦数据集中,运用YOLO v5s预测小麦麦穗的mAP提升1.41个百分点,准确率提升3.65个百分点,召回率提升0.36个百分点。

摘要：提出了一种新的深度残差对冲网络模型。首先,该模型借助Inception堆叠思想提出了堆叠卷积对冲结构块以加快网络收敛速度;然后,设计了新的恒等映射块,实现了输入层与中间各层的残差连接;最后,在全连接层引入Squash函数,防止损失梯度的发散。将提出的深度残差对冲网络应用于滚动轴承故障诊断,在预处理中将滚动轴承的振动加速度时域信号通过快速傅里叶变换得到的频谱图直接作为网络输入,从而简化了数据的预处理工作。利用两组实际的滚动轴承故障数据进行方法验证,并与18层深度残差网络(Resnet18)、卷积神经网络(CNN)等其他方法进行了对比验证。结果表明所提深度残差对冲网络模型的测试精度较其他模型高约2%,且训练时间能缩短1/3,充分表明本文方法具有很强的鲁棒性和收敛速度快等优点。