基于Flink的任务调度策略

作     者：何贞贞 于炯 李梓杨 国冰磊 HE Zhen-zhen;YU Jiong;LI Zi-yang;GUO Bing-lei

作者机构：新疆大学软件学院新疆乌鲁木齐830008 新疆大学信息科学与工程学院新疆乌鲁木齐830046 

基　　金：国家自然科学基金项目(61862060、61462079、61562086、61562078) 新疆维吾尔自治区自然科学基金项目(2017D01A20) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2020年第41卷第5期

页      码：1280-1287页

摘      要：针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。

主 题 词：流式计算 Flink 关键路径 通信开销 任务调度 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2020.05.013

馆 藏 号：203922920...