MapReduce模型中reduce阶段负载均衡分区算法研究

作     者：万聪 王翠荣 王聪 贾朔 WAN Cong;WANG Cui-rong;WANG Cong;JIA Shuo

作者机构：东北大学信息科学与工程学院沈阳110819 

基　　金：国家自然科学基金项目(61300195)资助 中央高校基本科研业务费项目(N110323009)资助 辽宁省教育厅科学研究一般项目(L2013099)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2015年第36卷第2期

页      码：240-243页

摘      要：MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各个结点负载不均衡的问题,提出一种reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,每次给reducetask分配一个分区,reducetask完成一个分区的工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节reducetask的负载.还改进了MapReduce的通信协议来支持算法并且设计了新的容错机制.最后,通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响MapReduce模型的情况下显著的缩短了任务的处理时间.

主 题 词：MapReduce 分区算法 负载均衡 Hadoop 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

馆 藏 号：203351137...