基于Hadoop的大数据频繁模式挖掘算法

作     者：李校林 杜托 谢勇 LI Xiao-lin;DU Tuo;XIE Yong

作者机构：重庆邮电大学通信新技术应用研究中心重庆400065 重庆信科设计有限公司重庆400021 

基　　金：重庆市研究生科研创新基金(CYS15166) 

出 版 物：《微电子学与计算机》 (Microelectronics & Computer)

年 卷 期：2018年第35卷第9期

页      码：14-19页

摘      要：针对传统的频繁模式挖掘算法不能满足大数据环境下的挖掘需要,提出一种高效挖掘大型数据库中频繁模式的并行算法H_PrePost.首先从压缩数据库、简化数据表示以及采用高效的连接和剪枝策略等方面对PrePost算法进行改进,以提高单机模式下的挖掘效率.然后将改进算法迁移到Hadoop平台上,利用MapReduce模型进行并行计算,同时提出一种负载均衡策略保证集群高效运行.最后使用kulczynski度量和不平衡比对所挖掘的频繁模式进行评估,以确保所挖掘模式具有实际应用价值.实验结果表明,H_PrePost算法可以有效挖掘大数据集中的频繁模式.

主 题 词：Hadoop 频繁模式 大数据 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.19304/j.cnki.issn1000-7180.2018.09.004

馆 藏 号：203366363...