MapReduce框架下的优化高维索引与KNN查询

作     者：梁俊杰 李凤华 刘琼妮 尹利 LIANG Jun-jie;LI Feng-hua;LIU Qiong-ni;YIN Li

作者机构：湖北大学计算机与信息工程学院湖北武汉430062 中国科学院信息工程研究所信息安全国家重点实验室北京100093 北京电子科技学院北京100070 

基　　金：国家发改委2012年信息安全专项(No.发改办高技1309) 国家自然科学基金(No.61170251) 湖北省自然科学基金重点项目(No.2013CFA115) 武汉市科技攻关计划(No.2013012401010851) 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2016年第44卷第8期

页      码：1873-1880页

摘      要：针对大规模高维数据近似查询效率低下的问题,利用MapReduce编程模型在大规模集群上的数据与任务的并行计算与处理优势,提出MapReduce框架下大规模高维数据索引及KNN查询方法(i PBM),重点突破MapReduce数据块(block)的优化划分与各数据块对计算的共同贡献两大难题,利用两阶段数据划分策略并依据相关性与并行性原则将数据均匀分配到各数据块中,设计分布式的双层空间索引结构与并行KNN查询算法,检索时利用全局索引、局部索引与二维位码索引实现三层数据过滤,大幅缩小搜索范围并降低高维向量计算代价,实验表明i PBM对大规模高维数据的近似查询具有准确性、高效性和扩展性.

主 题 词：云计算 MapReduce KNN查询 高维索引 

学科分类：0808[工学-自动化类] 0809[工学-计算机类] 08[工学] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3969/j.issn.0372-2112.2016.08.015

馆 藏 号：203187213...