大数据环境下基于前缀树的频繁项集挖掘

作     者：黄彩娟 刘卓华 所辉 杨滨 HUANG Cai-juan;LIU Zhuo-hua;SUO Hui;YANG Bin

作者机构：广东机电职业技术学院计算机与设计学院广东广州510515 江南大学设计学院江苏无锡214122 

基　　金：广东省高等学校优秀青年教师培养计划资助项目(Yq2013171) 

出 版 物：《控制工程》 (Control Engineering of China)

年 卷 期：2019年第36卷第11期

页      码：2136-2140页

摘      要：针对大数据环境下频繁项查找效率低和可扩展性问题,提出了一种基于MapReduce框架运行的新分布式FIM算法。首先,使用前缀序列树来构建候选序列子集,避免了昂贵的扫描过程。接着,使用宽幅支持度的方法产生频繁项集,每个MapReduce迭代将修剪掉非频繁项集,显著地压缩内存消耗,以及每一个MapReduce作业的迭代时间。最后,在不同事务规模和支持度下,与不同算法进行实验对比。实验结果表明,提出的序列增长算法获得了良好的效率和可扩展性,特别是在处理大数据集和长项集方面。

主 题 词：频繁项集挖掘 MapReduce 前缀序列树 模糊支持度 大数据 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.14107/j.cnki.kzgc.170587

馆 藏 号：203823228...