摘要：修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.

摘要：在基于深度学习的行人重识别算法中,通道特征易被忽视而导致模型表达能力降低。为此,以ResNeSt50为骨干网络,借鉴SENet通道注意力特点在残差块末尾接入SE block,增强网络对通道特征的提取能力;针对ReLU函数因缺少控制因子而限制不同通道特征图对激活值的准确响应问题,引入一个动态学习因子来丰富通道特征权重信息,以形成新的加权激活函数Weighted ReLU(WReLU);基于分组卷积特征图局部而设计新的激活函数Leaky Weighted ReLU(LWReLU),有效提高不同位置的深度特征表达能力;在Split-Attention和SE block中应用LWReLU,改善Split-Attention对各组特征图的权重学习能力;利用circle loss改进损失函数,优化目标收敛过程,从而提高模型精度。实验结果表明:在CUHK03-NP、Market1501和DukeMTMC-ReID数据集上,所提方法的Rank-1比原骨干网络分别提高了19.08%、0.98%、2.02%,且其mAP比原骨干网络分别提高了17.13%、2.11%、2.56%。