摘要：随着气象数据量的不断增长以及应用场景的不断拓展,传统数据处理模式难以满足多行业、融合型服务需求。为解决气象服务数据量大、处理过程复杂、应用需求多样、响应时效要求高等难点,本文开发分布式架构的湖南气象服务中台,并介绍支撑高并发服务的关键技术,包括:采用标准化流程实现多源异构数据统一处理,研发微服务并行处理模块提升数据处理效率,设计动态负载均衡算法增强并发能力,通过流量控制机制保障运行稳定性。测试结果表明:应用上述技术,在有限的基础资源支撑下,湖南气象服务中台可满足5000客户端并发访问需求,平均响应时间为1202 ms,在支撑应急管理、水利水文、自然资源等跨行业、多场景的气象服务中发挥了良好作用。

摘要：为解决海量气象数据并发处理的技术难点,提出了气象数据综合权重算法以及Kafka并发处理性能最优策略。选取湖南省2020年6月气象数据作为实验数据集,提取对数据处理系统性能影响最显著的关键特征值,基于熵权法计算关键特征值在流转和处理时消耗基础资源的综合权重,并将其作为气象数据分区处理的客观依据。参照气象大数据云平台架构,设计以Kafka为核心的数据处理模型,通过实验分别得出气象数据在Producer和Consumer端最优Partition、Thread配置策略,从而提升并发处理能力。实验结果表明:对实验数据集进行分区并配置最优策略后,在有限基础资源支撑条件下,消息写入速度从0.69 MB/s提升至37.44 MB/s,消息读取速度从15.65 MB/s提升至67.34 MB/s。该算法和策略已应用在气象卫星遥感数据处理业务,有效解决了海量卫星遥感数据传输处理过程出现消息阻塞的现象,在各类数据处理系统设计中具有较强的参考价值。

摘要：本文详细介绍了湖南省县级综合气象业务平台的架构设计和功能模块,分析了基于CIMISS数据环境的业务流程,详细阐述了CIMISS统一服务接口的服务功能和调用方法,并针对县级综合气象业务平台接入后的应用效果,测试了CIMISS系统响应时间,测试结果表明基于CIMISS接口调取数据可以满足平台的时效性要求。同时对CIMISS中获取的各类资料进行了部分校验工作,包括及时性和准确性的校验,比对结果表明从CIMISS中获取的资料准确无误。