基于Hadoop的海量气象雷达小文件存储研究

作     者：杨芙容 王永丽 王文明 YANG Fu-rong;WANG Yong-li;WANG Wen-ming

作者机构：成都信息工程大学信息安全工程学院四川成都610225 

基　　金：四川省科技厅应用基础资助项目(2014JY0093) 

出 版 物：《成都信息工程学院学报》 (Journal of Chengdu University of Information Technology)

年 卷 期：2015年第30卷第3期

页      码：254-258页

摘      要：针对气象雷达观测产生的文件多、数据量大、计算复杂等特点,通过研究分布式存储计算平台Hadoop,提出将雷达观测中实时生成的一次产品文件直接存储在HBase中;而对立体扫描文件和计算生成的二次产品文件,采用Sequence File技术合并处理后存储在Hadoop分布式文件系统中。根据雷达文件的标识特点,将HBase的行主键设计成时间+产品参数,利用随机散列与预分区保证HBase中regionserver的负载均衡;通过与直接存储在Hadoop分布式文件系统的方案进行比较,从Name Node的内存占用和文件读取时间两个方面进行测试和方案评估。实验证明该方案节省约60%的Name Node的内存空间,同时提高近18%的文件读取速率。

主 题 词：计算机应用 大数据 雷达数据 小文件问题 分布式存储 Hadoop HBase Sequence File 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1671-1742.2015.03.009

馆 藏 号：203115120...