基于MapReduce的模糊K-means算法并行化研究

作     者：杨延庆 袁华兵 YANG Yanqing;YUAN Huabing

作者机构：西安医学院信息技术处西安710021 

基　　金：陕西省青年科学基金项目(编号:71701160) 西安医学院教学改革研究项目(编号:2018JG-07)资助 

出 版 物：《计算机与数字工程》 (Computer & Digital Engineering)

年 卷 期：2020年第48卷第7期

页      码：1564-1567,1765页

摘      要：模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现。首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度。然后在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9倍,聚类效果更为显著。

主 题 词：模糊K-means MapReduce模型 Combine函数 Hadoop平台 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1672-9722.2020.07.004

馆 藏 号：203968359...