基于开源Hadoop的矢量空间数据分布式处理研究

作     者：尹芳 冯敏 诸云强 刘睿 YIN Fang;FENG Min;ZHU Yunqiang;LIU Rui

作者机构：长安大学地球科学与资源学院西安710054 中国科学院地理科学与资源研究所北京100101 重庆师范大学地理科学学院重庆400047 

基　　金：国家自然科学基金(No.41101364) 中国科学院地理科学与资源研究所"一三五"战略科技计划项目(No.2012ZD010) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2013年第49卷第16期

页      码：25-29页

摘      要：为实现大规模矢量数据的高性能处理,在开源项目Hadoop基础上,设计与开发了一个基于MapReduce的矢量数据分布式计算系统。根据矢量空间数据的特点,通过分析Key/Value数据模型及GeoJSON地理数据编码格式,构建了可存储于Hadoop hdfs的矢量数据Key/Value文本文件格式;探讨矢量数据的MapReduce计算过程,对Map数据分片、并行处理过程及Reduce结果合并等关键步骤进行了详细阐述;基于上述技术,建立了矢量数据分布式计算原型系统,详细介绍系统组成,并将其应用于处理关中地区1∶10万土地利用矢量空间数据,取得较好效果。

主 题 词：矢量空间数据 Key Value GeoJSON Apache Hadoop MapReduce 分布式处理 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3778/j.issn.1002-8331.1301-0294

馆 藏 号：203765872...