基于Spark的Top-k对比序列模式挖掘

作     者：张鹏 段磊 秦攀 左劼 唐常杰 元昌安 彭舰 Zhang Peng;Duan Lei;Qin Pan;Zuo Jie;Tang Changjie;Yuan Chang'an;Peng Jian

作者机构：四川大学计算机学院成都610065 四川大学华西公共卫生学院成都610041 科学计算与智能信息处理广西高校重点实验室(广西师范学院)南宁530001 

基　　金：国家自然科学基金项目(61572332 61363037) 国家自然科学基金委员会-中国民用航空局民航联和研究基金项目(U1333113) 中国博士后科学基金特别资助项目(2016T90850) 中央高校基本科研业务费专项资金项目(2016SCU04A22) 四川省科技支撑计划基金项目(2014GZ0111) 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2017年第54卷第7期

页      码：1452-1464页

摘      要：对比序列模式(distinguishing sequential pattern,DSP)指在目标类序列集合中频繁出现,而在非目标类序列集合中不频繁出现的序列.对比序列模式能够描述2个序列集合间的差异,有着广泛的应用,例如:构建序列分类器,识别DNA序列的生物特征,特定人群行为分析.与挖掘满足支持度阈值要求的对比序列模式相比,挖掘对比度top-k对比序列模式能避免用户设置不恰当的支持度阈值.因而,更易于用户使用.但是现有的top-k对比序列模式挖掘算法难以处理大规模序列数据.对此,设计了一种基于Spark的top-k对比序列模式并行挖掘算法,称为SP-kDSP-Miner.此外,为了提高SP-kDSPMiner的效率,针对Spark结构的特点,设计了候选模式生成策略和若干剪枝策略,以及候选模式对比度的并行计算方法.通过在真实数据集与合成数据集上的实验,验证了SP-kDSP-Miner的有效性、执行效率和可扩展性.

主 题 词：并行计算 序列模式 top—k 对比挖掘 Spark 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

核心收录：

D　O　I：10.7544/issn1000-1239.2017.20160553

馆 藏 号：203254184...