摘要：构建深度学习云平台的基础技术Kubernetes在调度过程中使用负载均衡策略,易产生资源碎片,增加任务等待时间。Kubernetes没有考虑对GPU等外部拓展资源的评分,不能很好适应深度学习云平台的业务场景。针对以上问题提出一种负载饱和调度策略,对Kubernetes调度过程进行改进,减少资源碎片,提高资源利用率。该策略支持对用户指定的外部拓展资源进行评分,能更好适应深度学习云平台业务场景。实验结果表明,负载饱和调度策略能够减少23.40%的任务等待时间,并能将GPU利用率提升14.15%,GPU显存利用率提升6.85%。

摘要：近年来,容器由于具有轻量级以及高可扩展性,逐渐替代了虚拟机,被广泛应用于深度学习云平台中。但目前深度学习云平台在GPU资源管理上依然存在着不足,主要表现为由于容器编排技术的限制,多个容器无法共享使用GPU资源,而对于一些小规模模型的训练任务和推理任务,单个任务并不能充分利用整张GPU卡的计算资源。当前的独占模式会导致昂贵的GPU资源的浪费,降低资源效率和服务可用性。针对这一问题,提出了一种GPU共享调度系统。一方面,基于Kubernetes的Operator机制对现有集群功能进行扩展,实现了多个Pod共享使用GPU资源,同时设计了一种代理机制保证了与原生Kubernetes的兼容性。另一方面,基于GPU时间片与抢占机制,实现了GPU资源的动态管理与调度,在多个任务之间进行细粒度的协调,并减少了任务干扰。实验结果表明,与原生Kubernetes调度系统相比,该系统能够将一组深度学习训练任务的完成时间平均减少约20%,使得集群GPU资源利用率平均提升约10%。在共享使用GPU时高优先级任务性能相较于独占GPU损耗不到5%,同时能够使得低优先级任务以20%的性能运行在同一张GPU上。