基于特征加权的分布式大数据相关性挖掘方法

作     者：戴惠丽 王敬宇 DAI Hui-li;WANG Jing-yu

作者机构：闽南科技学院福建泉州362332 北京邮电大学北京100876 

基　　金：2018年福建省高等学校学科(专业)带头人培养计划国内访问学者项目(138) 闽南科技学院一般教改项目(MKJG-2018-017)研究成果 

出 版 物：《计算机仿真》 (Computer Simulation)

年 卷 期：2021年第38卷第6期

页      码：282-285,372页

摘      要：针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法。对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值。设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选。根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行反复扫描,计算样本到聚类中心的距离,去除其中的孤立点。利用Shuffle均衡分组机制计算频繁项集,开始新项的FP树建立及频繁项集挖掘,直至完成所有频繁项集的挖掘。实验结果表明,所提方法的挖掘时间低于传统方法,并且任务分配均衡性较高,说明上述方法具有一定的应用价值。

主 题 词：特征加权 分布式大数据 相关性挖掘 软子空间聚类 任务分配 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

馆 藏 号：203103808...