基于哈希表的MapReduce算法优化

作     者：李瑞霞 刘仁金 周先存 LI Rui-xia;LIU Ren-jin;ZHOU Xian-cun

作者机构：皖西学院信息工程学院安徽六安237012 

基　　金：国家自然科学基金青年基金资助项目(61303209) 六安市定向委托皖西学院市级研究项目(2013LWA004) 安徽省教育厅重点项目(KJ2013A255) 

出 版 物：《山东大学学报（理学版）》 (Journal of Shandong University(Natural Science))

年 卷 期：2015年第50卷第7期

页      码：66-70页

摘      要：分布式并行计算是提高计算机性能常用的方法,但针对不同需求,并行程序的设计并没有统一的模型与方法,使得并行程序的编写完全依靠开发人员的经验。Google公司提出的分布式并行编程模型MapReduce能够完成特定类型的并行程序的开发与运行。使用哈希表对MapReduce分布式并行编程模型进行优化,减少中间结果中的碎片,并省略Combiner中间函数的调用,减少传输负载,提升运行效率,同时兼顾了Map函数与Reduce函数接口的属性,保持了MapReduce模型的并行性特点。

主 题 词：分布式 并行 MapReduce Map函数 哈希表 Hadoop 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.6040/j.issn.1671-9352.0.2014.461

馆 藏 号：203618787...