一种改进的分布式同步梯度下降法

作     者：李梁 王也 朱小飞 LI Liang;WANG Ye;ZHU Xiaofei

作者机构：重庆理工大学计算机科学与工程学院重庆400054 

出 版 物：《重庆理工大学学报（自然科学）》 (Journal of Chongqing University of Technology：Natural Science)

年 卷 期：2021年第35卷第7期

页      码：139-145页

摘      要：在深度学习领域中,模型的训练往往非常耗时,尤其是当模型较复杂时,分布式训练则是解决这个问题的一个主要方式。以往的案例中,用分布式训练神经网络能够得到非常好的加速效果,是因为采用了异步梯度下降法,但是这样会导致准确率下降。也有用同步梯度下降法来提升训练的准确率,但由于实际分布式的异构集群中各个计算节点的算力差距,会出现计算节点空闲等待的现象,使得模型的训练耗时十分不理想。采取改进同步梯度下降方法,通过设计新的样本分配机制,充分利用各个工作节点来加速模型训练。实验结果证明:所采取的方法在不降低准确率的情况下能够加快模型的训练速度。

主 题 词：深度学习 模型训练 分布式 梯度下降 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1674-8425(z).2021.07.017

馆 藏 号：203104648...