摘要：为了能够实时监控重型柴油车污染物排放水平,快速筛查出排放超标的车辆。利用以flink计算引擎为核心的Apache开源大数据框架,根据重型车排放车载终端发回的数据计算出车辆污染物排放水平。开发完成后,该预警监控系统会根据计算结果向车辆用户、售后部门、研发部门推送排放超标车辆信息,同时根据需求部门的要求,统计超标车辆的运行工况、配置信息、故障码信息等,实现快速定位排放超标原因,有效提高了社会和经济效益。

摘要：随着工业控制系统的智能化和自动化程度不断提高,工控数据存储成为关键的任务,该文以StarRocks搭建工控数据存储平台为目标,研究与解决工控数据存储和管理的问题。首先通过合理的硬件配置和网络环境,设计了工控数据的适用模型,并将其映射到StarRocks的表结构中。其次采用合适的数据接入和采集方案,从工业控制系统中获取实时数据并导入到StarRocks中。并通过使用StarRocks进行数据处理和分析,提供了实时的查询和多维分析功能。工控数据存储平台在实时监控、故障诊断和生产优化等方面有着巨大的应用价值。

摘要：随着移动互联网技术的进步,用户对网购参与程度的提高,电商企业每天、甚至每小时都在收获大量用户行为日志和业务数据,传统实时计算系统已无法满足对这些日志和业务数据进行在线分析和实时性统计。在该项需求的启发下,基于分层设计理念对用户行为数据实时处理的基础型架构进行研究,以期在面对大量实时计算时,通过沉淀中间结果的方式提高计算复用性,降低开发成本。该架构采用实时分析型列式数据库ClickHouse和flink实时流式处理框架作为核心技术,通过实时计算获得天级、分钟级、秒级甚至亚秒级数据,便于企业对业务进行快速反应和调整,满足新时代下的实时计算需求。

摘要：空间站实验柜密封箱体在通过抽真空、充氮气进行排废气时一旦失控,将产生箱体失压或过压的风险,对排废气过程进行安全监控和故障识别,将面临多参数耦合以及时序逻辑等复杂事件处理问题。将大数据流处理技术flink及其复杂事件处理(CEP)库应用在排废气安全监测上,设计出相应异常模式序列对排废气过程监测的数据流进行匹配,从数据流中实时检测出复杂事件序列。在仿真测试条件下,基于flink CEP的监测程序故障检测率和隔离率均达100%,能有效剔除传感器瞬态异常导致的虚警。

摘要：本文在对flink和实时数仓进行研究的基础上,设计出一种基于flink实时数仓系统设计框架、大数据处理实时化趋势和系统模块功能等内容,旨在为我国数据信息处理功能的圆满实现奠定更扎实的基础。

摘要：在大数据时代,数字化转型是企业发展战略的必然选择,而实时数仓建设则是数字化转型的重点。实时计算相对于传统的批处理,能够快速体现数据的价值,有着广泛的实时业务场景需求。本文提出一种基于flink的实时数仓设计,并在DPI业务场景得到实践验证,有效支撑了运营商对业务请求次数、流量、活跃用户数、业务成功率等多维度指标需求,可为其他更广泛的实时业务场景落地奠定坚实的基础。

摘要：网络内容难以分析,未及时处理易引发各种事件,为此设计实现了基于flink的网络内容分析系统。利用大数据架构、实时计算框架和文本挖掘等技术对网络内容进行分析,实现对网络内容的实时分析,从而避免引起各种负面事件。本文重点介绍了系统的设计与架构,阐述了如何利用大数据架构Kappa来实时数据处理,flink流批一体任务执行、实时分析网络内容等问题,帮助有关部门快速精准分析网络内容。

摘要：“十四五”期间,疾控面临着汇集各业务条线的数据以形成动态实时的电子疾病档案的任务。针对现阶段疾控信息化工作的现状,文章基于flink构建了一个电子疾病档案的实时数据处理模型,使用消息中间件实现各个业务条线数据的发布与订阅。数据在flink集群中实现了按主题目录的分流,检查与转换等操作,最终持久化写入HBase数据库,形成以个人信息为基础的各类业务数据的关联。实验与应用结果表明,该模型具有良好的数据处理能力,有效而可靠的实现了电子疾病档案的数据汇集。

摘要：随着各行业业务系统的复杂化和大数据时代的来临,企业对数据实时性的要求也越来越高。本文着重分析数据实时的重要性,不同实时预警功能系统的技术对比,结合企业业务确认架构设计和实现方式,主要对采取基于flink流处理框架对实时预警功能系统的实现展开叙述和总结。

摘要：当前大数据技术方兴未艾,金融业正经历“大数据+金融”的应用架构转型阶段。文章分析了经典机器学习算法在大数据背景下信贷逾期预测应用场景的不足,提出使用flink实时流计算引擎和kafka实时消息系统进行大数据机器学习的方法,并将CatBoost算法应用在信贷逾期预测系统中,取得良好效果。