Kubernetes集群上深度学习负载优化

作     者：陈培 王超 段国栋 王德奎 王斌 王文潇 孙辽东 荆荣讯 邢良占 刘慧兴 姬贵阳 CHEN Pei;WANG Chao;DUAN Guo-Dong;WANG De-Kui;WANG Bin;WANG Wen-Xiao;SUN Liao-Dong;JING Rong-Xun;XING Liang-Zhan;LIU Hui-Xing;JI Gui-Yang

作者机构：浪潮电子信息产业股份有限公司济南250101 

出 版 物：《计算机系统应用》 (Computer Systems & Applications)

年 卷 期：2022年第31卷第9期

页      码：114-126页

摘      要：人工智能技术的快速发展和在云原生上部署应用高效等优点让越来越多的开发者和互联网企业将人工智能应用部署在Kubernetes集群上,但Kubernetes并不是主要针对深度学习而设计,对深度学习这个特定领域需要做定制优化.本文针对具有一定规模的Kubernetes集群上部署深度学习负载的场景,设计和实现了一系列优化方案,主要从深度学习所要求的数据处理、graphics processing unit (GPU)计算、分布式训练等几个方面进行优化,本文提出的优化方案覆盖了数据处理、计算等方面,这些技术极大简化人工智能负载在规模化云原生平台上的部署难度和提高运行效率,同时从实践上来看也验证了以上技术对人工智能应用有着显著的提升作用.

主 题 词：Kubernetes 深度学习 分布式训练 CUDA 负载优化 人工智能 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.15888/j.cnki.csa.008672

馆 藏 号：203114272...