深度学习模型中不同激活函数的性能分析

作     者：张恺翊 张宁燕 江志浩 代维凯 邹晓 Zhang Kaiyi;Zhang Ningyan;Jiang Zhihao;Dai Weikai;Zou Xiao

作者机构：91977部队北京102249 91423部队辽宁大连116043 

出 版 物：《网络安全与数据治理》 (CYBER SECURITY AND DATA GOVERNANCE)

年 卷 期：2023年第42卷第S1期

页      码：149-156页

摘      要：近年来,人们为处理众多问题引入了各种类型的神经网络,神经网络取得了巨大的发展。任何神经网络使用的层次结构是线性和非线性函数的组合,其中最常见的非线性层是激活函数,如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。对深度学习神经网络中的激活函数进行了介绍,并对不同激活函数的输出范围、单调性、平滑性等特点进行了分析。通过在数据集上测试,对现在使用频率较高的激活函数进行了性能测试。对激活函数的分析将有助于进一步地在模型设计中进行选择。

主 题 词：卷积神经网络 激活函数 性能分析 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.19358/j.issn.2097-1788.2023.S1.026

馆 藏 号：203126078...