DNN模型训练之学习率调整策略探究

作     者：胡秀建 赵慧 丁远远 

作者机构：亳州学院安徽亳州236800 

基　　金：亳州学院校级教研课题(2023XJXM050) 

出 版 物：《通化师范学院学报》 (Journal of Tonghua Normal University)

年 卷 期：2024年第45卷第6期

页      码：93-98页

摘      要：学习率调整策略是深度学习课程中重要的知识点.现有的学习率调整策略存在调整方式不灵活、逃离鞍点的能力不足、精确度不高、泛化能力不强等问题.为了解决上述问题,对学习率的调整策略进行研究和实验,提出了有效训练状态的概念和有效学习率区间的查找方法,设计了一种新的学习率调整策略——带预热的可变周期学习速率(Variable Cyclic with Warm-up Learning Rate-schedule,VCWLR).采用VGG16、Resnet18等BaseLine模型在Cifar10基准测试平台上对深度神经网络(Deep Neural Network,DNN)进行训练,实验结果证明了VCWLR比现有的学习率调整策略更灵活高效.使用VCWLR不仅弥补了深度学习课程中知识点的不足,更有助于学生全面深入理解网络模型训练过程,提高学生训练DNN的能力和水平.

主 题 词：深度神经网络 优化器 学习率 VCWLR 

学科分类：050302[050302] 05[文学] 0503[文学-新闻传播学类] 

D　O　I：10.13877/j.cnki.cn22-1284.2024.06.014

馆 藏 号：203128375...