KNN分类算法的MapReduce并行化实现

作     者：闫永刚 马廷淮 王建 Yan Yonggang;Ma Tinghuai;Wang Jian

作者机构：南京信息工程大学计算机与软件学院南京210044 南京信息工程大学江苏省网络监控中心南京210044 南京大学电子科学与工程学院南京210093 

基　　金：国家自然科学基金(61173143)资助项目 江苏省自然科学基金(BK2010380)资助项目 中国博士后科学基金(2012M511303)资助项目 江苏省高校优势学科建设工程资助项目 

出 版 物：《南京航空航天大学学报》 (Journal of Nanjing University of Aeronautics & Astronautics)

年 卷 期：2013年第45卷第4期

页      码：550-555页

摘      要：为了提高k-nearest neighbor algorithm(KNN)算法处理大数据集的能力,本文利用Map Reduce并行编程模型,同时结合KNN算法自身的特点,给出了KNN算法在Hadoop平台下的并行化实现。通过设计Map、Combine和Reduce 3个函数,实现了KNN算法的并行化。Map函数完成每个测试样本与训练样本之间的相似度计算,Combine函数作为一个本地的Reduce操作,用以减少中间计算量及通信开销,Reduce函数则根据上述函数得到的中间结果计算出k近邻并作出分类判断。实验结果表明:较之以往的单机版方法,在Hadoop集群上实现的并行化KNN算法具有较好的加速比和良好的扩展性。

主 题 词：KNN分类 并行计算 MapReduce模型 Hadoop 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1005-2615.2013.04.019

馆 藏 号：203719715...