面向负载均衡的动态均衡分区策略

作     者：杨迪 赵家伟 王鹏 赵建平 Yang Di;Zhao Jiawei;Wang Peng;Zhao Jianping

作者机构：长春理工大学吉林长春130000 

基　　金：中央引导地方科技发展资金吉林省基础研究专项(202002038JC) 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2024年第41卷第8期

页      码：46-52页

摘      要：针对MapReduce计算框架处理倾斜数据集时造成Reduce端出现负载不均衡现象,提出一种动态均衡分区策略。在mapper阶段提出基于分治法的数据切分原则处理任务传入的数据组;结合最佳适应算法思想设计动态分配原则逐步将切分后的数据块均衡分配到预分区链表中;根据分区索引分配到各Reduce节点上实现负载均衡。实验结果显示,动态均衡分区策略与两个基准模型相比任务执行时长平均降低了7.7%,表明动态均衡分区策略更好地解决了数据倾斜问题,降低了任务执行时间,验证了模型的有效性。

主 题 词：MapReduce 负载均衡 数据倾斜 数据分区 

学科分类：08[工学] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-386x.2024.08.007

馆 藏 号：203137839...