Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计

作     者：王越峰 王溪波 WANG Yue-feng;WANG Xi-bo

作者机构：沈阳工业大学信息科学与工程学院沈阳110870 

基　　金：辽宁"百千万人才工程"培养经费(2012921041)资助 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2017年第44卷第S1期

页      码：567-570页

摘      要：在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。

主 题 词：数据本地性 抢占式 作业平均完成时间 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

馆 藏 号：203233327...