异构环境感知的分布式神经网络训练模型

作     者：咸琳涛 刘晓兰 王淦 刘建明 XIAN Lin-tao;LIU Xiao-lan;WANG Gan;LIU Jian-ming

作者机构：潍坊医学院智能医学工程实验室山东潍坊261053 

基　　金：潍坊医学院2023年校级研究课题基金项目(2023YBD005) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第9期

页      码：2821-2827页

摘      要：针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题,提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务,使计算节点能够在相同时间完成训练任务,提高资源利用率。提出通信与计算并行策略,参数服务器与计算节点传输模型参数期间,计算节点持续模型计算,进一步提高资源利用率。使用灵活的量化策略,压缩神经网络模型参数,减少参数服务器与计算节点的通信开销。使用新兴的容器集群进行实验,结果表明,与现有方法相比,H-PS训练时间缩短1.4~3.5倍。

主 题 词：分布式机器学习 异构环境 任务动态规划 通信与计算并行 参数动态量化 深度神经网络 容器集群 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16208/j.issn1000-7024.2024.09.035

馆 藏 号：203143373...