基于分配适应度的Spark渐进填充分区映射算法

作     者：卞琛 于炯 修位蓉 廖彬 英昌甜 钱育蓉 BIAN Chen;YU Jiong;XIU Wei-rong;LIAO Bin;YING Chang-tian;QIAN Yu-rong

作者机构：新疆大学软件学院新疆乌鲁木齐830008 新疆财经大学统计与信息学院新疆乌鲁木齐830012 

基　　金：国家自然科学基金资助项目(No.61262088 No.61462079 No.61562078 No.61363083 No.61562086) 新疆维吾尔自治区自然科学基金资助项目(No.2017D01A20) 新疆维吾尔自治区高校科研计划基金资助项目(No.XJED2016S106) 新疆财经大学科研博士启动基金资助项目(No.2015BS007)~~ 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2017年第38卷第9期

页      码：133-147页

摘      要：分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。

主 题 词：并行计算 Spark 渐进填充 分区映射 分配适应度 

学科分类：0810[工学-土木类] 1205[管理学-图书情报与档案管理类] 0839[0839] 08[工学] 080402[080402] 0804[工学-材料学] 0811[工学-水利类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11959/j.issn.1000-436x.2017188

馆 藏 号：203266367...