一种基于NoSQL的气象非结构化数据产品存储方法

作     者：陈正旭 李爽爽 孙晓燕 Chen Zhengxu;Li Shuangshuang;Sun Xiaoyan

作者机构：浙江省气象信息网络中心杭州310017 

基　　金：中国气象局小型建设项目"高时空分辨率气象预报分布式计算能力建设" 浙江省气象局重点项目"气象业务标准化数据库建设关键技术"(2013ZD10)资助 

出 版 物：《气象科技》 (Meteorological Science and Technology)

年 卷 期：2017年第45卷第3期

页      码：430-434页

摘      要：基于一种面向气象非结构化数据产品的NoSQL存储方法,综合气象网格化数据产品的结构及其应用场景,设计了NoSQL中的列存储数据库,并通过优化表格存储方式提高存储、访问效率。根据数据产品的类型、时间、预报时效等信息,制定主键列,属性列和数据列,设计数据存储模型。对数据列大网格进行切分,用网格点序号标记数据列名,并制定数据压缩策略,从而提高数据访问的整体效率。以气象数值预报产品为例,利用阿里云的OTS产品进行模拟测试,结果表明,基于NoSQL技术的列存储数据库可以满足产品服务平台的数据支撑要求,为分布式数据、云计算等技术的推广应用提供参考。

主 题 词：气象数据 非结构化数据 NoSQL 列存储数据库 

学科分类：07[理学] 070601[070601] 0706[理学-大气科学类] 

D　O　I：10.19517/j.1671-6345.20160275

馆 藏 号：203233821...