基于HBase的气象结构化数据查询优化

作     者：徐熙超 杨铮 马廷淮 XU Xichao;YANG Zheng;MA Tinghuai

作者机构：南京信息工程大学计算机与软件学院南京210044 南京信息工程大学江苏省网络监控中心南京210044 

基　　金：科技部公益性行业(气象)科研专项(No.GYHY201506080) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2017年第53卷第9期

页      码：80-84页

摘      要：海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上,提出了一个基于索引的气象结构化数据查询优化架构HBase4M(HBase for Meteorology)。首先,根据HBase存储特性设计表结构;然后,利用协处理器建立和维护辅助索引,将字段查询转化为对索引表的行键查询,使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明,HBase4M的性能可以基本满足气象服务的业务需要。

主 题 词：气象数据 HBase 辅助索引 分布式存储 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.3778/j.issn.1002-8331.1601-0040

馆 藏 号：203228081...