Spark下的分布式粗糙集属性约简算法

作     者：章夏杰 朱敬华 陈杨 ZHANG Xiajie;ZHU Jinghua;CHEN Yang

作者机构：黑龙江大学计算机科学技术学院哈尔滨150080 黑龙江省数据库与并行计算重点实验室哈尔滨150080 

基　　金：黑龙江省自然科学基金面上项目(F2018028)~~ 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2020年第40卷第2期

页      码：518-523页

摘      要：属性约简(特征选择)作为数据预处理的重要环节,大多以属性依赖作为筛选属性子集的标准。设计了一种快速依赖计算方法FDC,通过直接寻找基于相对正域的对象来计算依赖度,而不需要预先求出相对正域,相比传统方法在速度上有明显的性能提升。另外,改进鲸鱼优化算法(WOA)使其能够有效应用于粗糙集属性约简。结合上述两个方法,提出一种基于Spark的分布式粗糙集属性约简算法SP-WOFRST,并在两组人工合成的大数据集上与另一种基于Spark的粗糙集属性约简算法SP-RST进行对比实验。实验结果表明所提出的SP-WOFRST算法在精度和速度上均优于SP-RST。

主 题 词：粗糙集 Apache Spark 鲸鱼优化算法 特征选择 属性约简 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2019091642

馆 藏 号：203884609...