Kubernetes异构资源细粒度调度策略的设计与实现

作     者：刘志彬 黄秋兰 胡庆宝 程耀东 胡誉 田浩来 LIU Zhibin;HUANG Qiulan;HU Qingbao;CHENG Yaodong;HU Yu;TIAN Haolai

作者机构：中国科学院高能物理研究所北京100049 中国科学院大学北京100049 散裂中子源科学中心广东东莞523803 中国科学院高能物理研究所天府宇宙线研究中心成都610041 

基　　金：国家自然科学基金(11875283) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2023年第49卷第2期

页      码：31-36,45页

摘      要：在异构资源环境中高效利用计算资源是提升任务效率和集群利用率的关键。Kuberentes作为容器编排领域的首选方案,在异构资源调度场景下调度器缺少GPU细粒度信息无法满足用户自定义需求,并且CPU/GPU节点混合部署下调度器无法感知异构资源从而导致资源竞争。综合考虑异构资源在节点上的分布及其硬件状态,提出一种基于Kubernetes的CPU/GPU异构资源细粒度调度策略。利用设备插件机制收集每个节点上GPU的详细信息,并将GPU资源指标提交给调度算法。在原有CPU和内存过滤算法的基础上,增加自定义GPU信息的过滤,从而筛选出符合用户细粒度需求的节点。针对CPU/GPU节点混合部署的情况,改进调度器的打分算法,动态感知应用类型,对CPU和GPU应用分别采用负载均衡算法和最小最合适算法,保证异构资源调度策略对不同类型应用的正确调度,并且在CPU资源不足的情况下充分利用GPU节点的碎片资源。通过对GPU细粒度调度和CPU/GPU节点混合部署情况下的调度效果进行实验验证,结果表明该策略能够有效进行GPU调度并且避免资源竞争。

主 题 词：云计算 Kubernetes调度 异构资源 资源调度 CPU/GPU集群 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.19678/j.issn.1000-3428.0063709

馆 藏 号：203118258...