摘要：本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

摘要：为满足山东省海量气象数据存储的需求,推进山东省业务系统集约化进展,山东省气象信息中心搭建了省级气象大数据云平台。描述了系统设计的总体架构与关键技术,并通过实践建立了气象大数据云平台。云平台数据全面,支撑气象部门所有数据资源的汇聚、管理和服务,包括观测数据、业务产品、政务信息、行业社会数据,以及多媒体、出版物、设备信息、监控日志等等;实现云上计算能力,提供除数值预报以外各类数据产品加工、挖掘分析的平台计算服务;直接支撑应用,助力"云+端"业务模式的全面发展,构成集约化、标准化、开放发展的气象新业态。

摘要：为满足山东省气象预报、公共服务等气象业务对海量气象数据访问需求和毫秒级响应的时效需求,基于数据库变更日志Binlog和分布式消息服务Kafka技术,在省级气象大数据云平台中设计了一套气象数据同步框架,并通过存储管理系统(SOD)进行策略配置,解决了原有CIMISS数据环境在规模和性能上的服务瓶颈。实践证明:基于Binlog+Kafka的气象数据同步效率可达110000条/s,耗时延迟毫秒级,有效支撑了全省气象业务系统对海量气象数据的时效需求。