基于Spark的高维K近邻连接算法

作     者：纪佳琪 郑永基 JI Jia- qi1 , CHUNG Yeong -jee2

作者机构：河北民族师范学院信息中心河北承德067000 圆光大学计算机工学院韩国益山54538 

基　　金：承德市科学技术研究与发展计划基金项目(201801A080) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2018年第39卷第8期

页      码：2544-2549页

摘      要：为解决数据量日益增长和数据维度不断增高,通过单机运行K近邻连接算法得出结果时间过长无法满足时效要求的问题,提出一种基于Spark的使用位置敏感哈希函数对数据预处理后再进行查询的算法。利用位置敏感哈希函数对训练集数据降维并进行分桶索引,进行近邻查找,有效利用Spark基于内存的高性能并行计算能力。实验结果表明,该算法对高维大数据具有较高的准确性和查询效率。

主 题 词：K近邻连接 高维 大数据 哈希函数 并行计算 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2018.08.026

馆 藏 号：203311457...