基于MapReduce的混合数据孤立点检测算法

作     者：郭一鹏 梁吉业 赵兴旺 GUO Yi-peng;LIANG Ji-ye;ZHAO Xing-wang

作者机构：山西大学计算机与信息技术学院太原030006 计算智能与中文信息处理教育部重点实验室太原030006 

基　　金：国家自然科学基金项目(71031006)资助 山西省科技基础条件平台建设项目(2012091002-0101)资助 山西省回国留学人员科研项目(2013-101)资助 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2014年第35卷第9期

页      码：1961-1966页

摘      要：在处理混合型大数据时,已有孤立点检测算法往往存在时间代价大、适用性差等问题.为了解决这一问题,本文基于最近邻思想提出了一个混合数据孤立点检测算法.该算法依据邻域计数的思想给出混合数据对象之间的相异性度量,并基于最近邻定义了对象的孤立度,进而设计出一个混合数据孤立点检测算法,并且基于MapReduce编程模型对该算法进行了并行化设计以进一步提高算法执行效率.最后,在UCI数据集上通过与已有算法比较实验结果表明,本文提出的混合数据孤立点检测算法能有效地检测出孤立点,具有参数少、检测精度高的优点;算法的并行化实现提高了算法对混合型大数据的孤立点检测效率.

主 题 词：孤立点检测 混合型数据 邻域计数 MapReduce 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.1000-1220.2014.09.005

馆 藏 号：203812570...