摘要：气象产品加工任务往往由不同算法组合而成,其状态对数据源具有高依赖性。高效感知数据状态,并及时合理启动调度,对提升气象产品加工的时效性至关重要。设计并建设了基于数据感知技术的气象算法调度框架,对比测试结果分析表明:在实时分析数据源到报状态的基础上,数据感知调度实现数据到报即算法启动运行,任务调度延迟较定时调度显著降低,由3784 ms降至11 ms。数据感知调度作为气象大数据云平台加工流水线的核心能力,已在国省部署并实时运行。目前在国家级业务中支撑19种核心业务算法的高效调度,日调度次数约为6.67×10^(5),平均调度延迟为31 ms;在省级业务中支撑14种算法的高效调度,日调度次数约为8×10^(4),平均调度延迟为156 ms。此外,数据感知调度实现了气象业务上下游算法的无缝串联,可为解决气象业务间的脱节问题、提升气象业务间的协同性提供解决方案。

摘要：气象业务系统集约化发展和“云+端”业务技术体制改革是实现气象业务高质量发展的重要措施。2020年中国气象局提出构建以气象大数据云平台为云、气象业务系统为端的“云+端”业务技术体制,明确气象大数据云平台作为关键基础技术平台的定位。加工流水线作为气象算法的集约化环境,应用数算一体、高效任务调度、可视化流程编排、容器等技术,实现气象算法的统一管理与高效集约调度运行。2021年加工流水线业务运行,支撑全国202个业务系统的实时运行,业务系统性能提升1~10倍,集约化程度显著提高,对提升业务系统的运行效率、增强业务系统的协同性、加速“云+端”业务技术体制改革进程和推进气象业务集约发展发挥了重要支撑作用。