FSMBUS:一种基于Spark的大规模频繁子图挖掘算法

作     者：严玉良 董一鸿 何贤芒 汪卫 Yan Yuliang;Dong Yihong;He Xianmang;Wang Wei

作者机构：宁波大学信息科学与工程学院浙江宁波315211 复旦大学计算机科学技术学院上海200433 

基　　金：国家自然科学基金项目(61170006 61202007) 宁波市自然科学基金项目(2013A610063 2013A610110) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2015年第52卷第8期

页      码：1768-1783页

摘      要：随着社交网络用户数的快速增加,大规模单图上频繁子图挖掘的需求越来越强烈.单机算法对大规模图的运行效率较低,难以支撑支持度较低的频繁子图的挖掘;现有的分布式环境下单图的频繁子图挖掘算法不支持子图增长模式的挖掘,它们所使用的Hadoop框架也不适合运行迭代式算法.提出了一种基于Spark的大规模单图频繁子图挖掘算法FSMBUS,通过次优树构建并行计算的候选子图,在给定最小支持度时挖掘出所有的频繁子图,并利用非频繁检测和搜索顺序选择实现优化,还设计了一种名为Sorted-Greedy的轻量级数据划分方法.实验结果表明,FSMBUS的效率要比现有单图上最新的算法快一个数量级,并支持更低最小支持度阈值以及更大规模图数据的挖掘,同时FSMBUS比其Hadoop的移植版要快2~4倍.

主 题 词：频繁子图 大规模单图 分布式挖掘 Spark 负载均衡 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2015.20150256

馆 藏 号：203597584...