基于nested-loop的大数据集快速离群点检测算法

作     者：倪巍伟 陈耿 陆介平 孙志挥 Ni Weiwei;Chen Geng;Lu Jieping;Sun Zhihui

作者机构：东南大学计算机科学与工程学院南京210096 南京审计学院审计信息工程重点实验室南京210029 

基　　金：国家自然科学基金资助项目(70371015) 高等学校博士学科点专项科研基金资助项目(20040286009) 审计署审计科研所专项资助项目(SK2006007) 

出 版 物：《东南大学学报（自然科学版）》 (Journal of Southeast University：Natural Science Edition)

年 卷 期：2006年第36卷第3期

页      码：463-466页

摘      要：针对已有的多数离群点检测算法存在扩展性差,不能有效应用于大数据集的问题,在已有的基于距离的离群点检测算法的基础上,设计模信息表存储结构,利用向量内积不等式关系以及合理的存储分配和调度策略,提出一种高效离群点检测算法DBoda.该算法通过在预处理中存储每个点的模信息,减少点间距离的计算量,并对嵌套循环方法进行优化,进一步减少I/O的开销.理论分析和试验结果表明,所提算法具有时间消耗小和适用于处理大数据集的特点,可以有效地解决离群点检测中的算法时间复杂性和算法扩展性问题.

主 题 词：大数据集 模信息表 向量内积不等式 离群点检测 

学科分类：0810[工学-土木类] 08[工学] 0805[工学-能源动力学] 0835[0835] 0812[工学-测绘类] 081202[081202] 

核心收录：

D　O　I：10.3321/j.issn:1001-0505.2006.03.027

馆 藏 号：203285840...