基于MapReduce的DHP算法并行化研究

作     者：周国军 吴庆军 Zhou Guojun;Wu Qingjun

作者机构：玉林师范学院数学与信息科学学院广西玉林537000 

基　　金：广西高校科学技术研究立项项目(LX2014300) 

出 版 物：《计算机应用与软件》 (Computer Applications and Software)

年 卷 期：2016年第33卷第6期

页      码：47-50,91页

摘      要：针对DHP(direct hashing and pruning)算法对大数据挖掘关联规则存在执行时间过长、效率不高的问题,对DHP算法的并行化策略进行了研究。根据云计算平台Hadoop的MapReduce并行编程模型,设计了一种并行DHP算法,给出了算法的总体流程和Map函数、Reduce函数的算法描述。与DHP算法相比,并行算法利用了Hadoop集群强大的计算能力,提高了从大数据集中挖掘关联规则的效率。通过实例分析了并行DHP算法的执行过程,在多个数据集上进行了实验。实验结果表明:并行DHP算法对大数据具有较好的加速比和可扩展性。

主 题 词：MapReduce Hadoop DHP算法 关联规则 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-386x.2016.06.012

馆 藏 号：203189301...