基于HBase的数值预报产品存储检索应用

作     者：王建荣 唐怀瓯 金素文 

作者机构：安徽省气象信息中心安徽省合肥市230031 

基　　金：中国气象局关键技术集成项目(CMAGJ2015M29) 安徽省气象局科技发展基金项目(编号:KM201604) 

出 版 物：《电子技术与软件工程》 (ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING)

年 卷 期：2017年第10期

页      码：159-162页

摘      要：数值预报产品数据快速增长,传统的关系型数据库对其存储和管理能力不足,查询规模较大的历史数据时效率较低。鉴于此,基于HBase设计了分布式的数据存储模型,应用Map Reduce将数值预报产品解码信息存入HBase,并将解码得到的要素GRIB文件写入HDFS。因HBase对Rowkey的一级索引支持较好,而对多条件查询支持不足,需辅助Solr索引加以优化。HBase接收数据时自动触发协处理器同步记录到Solr,实现了HBase的二级索引。测试结果表明,最快入库速度可达每秒16145条,数据检索结果返回时效达到毫秒级,能够满足业务应用中对数值预报产品存储和检索时效的要求。

主 题 词：HBase MapReduce 要素GRIB文件 解码日志文件 SolrCloud 

学科分类：081203[081203] 08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

馆 藏 号：203232461...