并行挖掘频繁项目集新算法——MREclat

作     者：章志刚 吉根林 唐梦梦 ZHANG Zhigang;JI Genlin;TANG Mengmeng

作者机构：南京师范大学计算机科学与技术学院南京210023 

基　　金：江苏省自然科学基金资助重点项目(BK2011005) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2014年第34卷第8期

页      码：2175-2178页

摘      要：针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

主 题 词：频繁项目集 并行挖掘算法 列存储 Map Reduce Eclat算法 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

核心收录：

D　O　I：10.11772/j.issn.1001-9081.2014.08.2175

馆 藏 号：203127366...