流式计算技术在山东省非考核地面气象自动站数据实时处理中的应用

作     者：冯勇 李微 袁雅涵 

作者机构：山东省气象局气象防灾减灾重点实验室 山东省气象信息中心 济南高新技术产业开发区气象局 

基　　金：基于“天擎”的气象数据可视化服务关键技术研究(山东省气象局重点课题2021sdqxz06) 基于“天擎”的机器学习平台关键技术研究与开发(山东省气象局重点课题2021sdqxz02) 山东省精准预报技术创新团队、山东台风与海洋气象创新团队共同资助 

出 版 物：《数字技术与应用》 (Digital Technology & Application)

年 卷 期：2022年第40卷第9期

页      码：149-153页

摘      要：本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

主 题 词：数据监控 多线程处理 数据收集 流式计算 数据处理程序 数据实时处理 数据解码 数据入库 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.19695/j.cnki.cn12-1369.2022.09.46

馆 藏 号：203114455...