数据同步技术在气象大数据云平台中的应用

作     者：冯勇 吕冠儒 李微 安浩然 Feng Yong;Lv Guanru;Li Wei;An Haoran

作者机构：山东省气象局气象防灾减灾重点实验室山东济南250031 山东省气象信息中心山东济南250031 湖南省气象信息中心湖南长沙410118 济南高新技术产业开发区气象局山东济南250031 

基　　金：基于“天擎”的气象数据可视化服务关键技术研究(山东省气象局重点课题2021sdqxz06) 基于“天擎”的机器学习平台关键技术研究与开发-周雪松(山东省气象局重点课题2021sdqxz02) 团队资助:山东省精准预报技术创新团队、山东台风与海洋气象创新团队共同资助 

出 版 物：《科学技术创新》 (Scientific and Technological Innovation)

年 卷 期：2022年第21期

页      码：96-99页

摘      要：为满足山东省气象预报、公共服务等气象业务对海量气象数据访问需求和毫秒级响应的时效需求,基于数据库变更日志Binlog和分布式消息服务Kafka技术,在省级气象大数据云平台中设计了一套气象数据同步框架,并通过存储管理系统(SOD)进行策略配置,解决了原有CIMISS数据环境在规模和性能上的服务瓶颈。实践证明:基于Binlog+Kafka的气象数据同步效率可达110000条/s,耗时延迟毫秒级,有效支撑了全省气象业务系统对海量气象数据的时效需求。

主 题 词：Binlog Kafka 气象大数据云平台 数据同步 存储管理 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-1328.2022.21.024

馆 藏 号：203113516...