摘要：为提升基于设备监测数据流开展故障诊断的能力,设计开发flink流式处理系统。构建多通道传感器数据分布式并行处理的数据流处理流程,开发流程中包含各类算子,从而将监测数据流转化成诊断结果数据流。搭建flink集群,开展系统功能和性能测试,结果表明:系统延迟时间<1 ms,数据处理完整率为100%,乱序数据恢复率为100%,job manager、task manager故障自动恢复时间分别为62 s、26 s。基于flink的设备状态监测与诊断系统满足低延迟、精确一次一致性、可容错的要求。

摘要：煤矿的经营业务是企业的核心工作之一,关系到煤矿企业的运营效率、盈利能力以及长期发展,但煤矿经营在数据上深度依赖采掘、销售、运输、客户等。为了提升煤矿企业经营业务水平,助力企业高质量发展,从煤矿企业经营类业务系统的数据集成与业务协同问题入手,首先分析煤矿企业以产、选、销、运为代表的经营类业务信息化建设状况,调研煤矿企业经营业务各环节的协同需求;其次研究了各业务系统数据间的关系;最后研究了基于flink框架的数据存储与流式计算技术,设计了煤矿企业经营业务大数据协同模型,并在淮北矿业股份有限公司成功应用,验证了模型的有效性。研究结果为煤矿企业提升经营业务水平提供技术支撑和决策参考。

摘要：Apache flink是目前最流行的流式计算平台之一,已经在工业界得到了广泛应用.复杂事件处理是流式计算的一种重要使用场景,Apache flink平台定义并实现了一种复杂事件处理语言(简称flinkCEP).flinkCEP语法特性丰富,不仅包括常见的过滤、连接、循环等操作,还包括迭代条件、匹配筛选策略等高级特性.flinkCEP语义复杂,尚缺乏语言规范对其语义进行准确描述,只能通过实现细节来理解,因此对其语义进行形式描述对于开发人员准确理解其语义非常必要.针对flinkCEP提出一种数据流转换器的自动机模型,该模型包括用于刻画迭代条件的数据变量、存储输出结果的数据流变量、用于刻画匹配筛选策略的迁移优先级等特性.使用数据流转换器对flinkCEP的语义进行形式建模,并且根据形式语义设计flinkCEP的查询求值算法,实现原型系统.进一步,生成能够较为全面覆盖flinkCEP语法特性的测试用例集,利用这些测试用例与flinkCEP在flink平台上的实际运行结果进行对比实验.实验结果表明所提出的形式语义与flinkCEP在flink平台上的实际语义基本是一致的.而且,对实验结果不一致的情况进行分析,指出flinkCEP在flink平台上的实现对于组模式的处理可能存在错误.

摘要：空间站实验柜密封箱体在通过抽真空、充氮气进行排废气时一旦失控,将产生箱体失压或过压的风险,对排废气过程进行安全监控和故障识别,将面临多参数耦合以及时序逻辑等复杂事件处理问题。将大数据流处理技术flink及其复杂事件处理(CEP)库应用在排废气安全监测上,设计出相应异常模式序列对排废气过程监测的数据流进行匹配,从数据流中实时检测出复杂事件序列。在仿真测试条件下,基于flink CEP的监测程序故障检测率和隔离率均达100%,能有效剔除传感器瞬态异常导致的虚警。

摘要：针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。

摘要：为了研究Apache Spark和Apache flink两个框架在进行批量大数据处理时的性能差异和相似性,分析Spark和flink的引擎差异,重点对比了两个框架在运行机器学习算法的细节。比较的算法有：支持向量机（SVM）算法、线性回归（LR）算法和分布式信息理论的特征选择（FS-DIT）算法,其中SVM和LR算法为平台固有算法,FS-DIT根据平台框架特点重新设计。三种机器学习算法的实验结果表明：Spark的性能优于flink,且总体运行时长低于flink。另外对Spark目前拥有的MLlib和ML性能也进行了分析研究。整个研究对新旧两种平台上的批处理应用具有一定指导作用。

摘要：数据量的不断增大,使信息筛选和处理的困扰与日俱增,用户画像项目以此背景成立,旨在“数据驱动业务与运营”。系统地介绍了用户画像项目:首先,介绍了三种技术选型,通过对比阐明了采用flink架构的原因;其次,从用户画像的业务架构、处理流程描述了项目的设计和实施,并详细介绍了ID-Mapping数据结构;最后,探讨了数据量增加时可能存在的问题,并提出了未来的优化方案。

摘要：本文在对flink和实时数仓进行研究的基础上,设计出一种基于flink实时数仓系统设计框架、大数据处理实时化趋势和系统模块功能等内容,旨在为我国数据信息处理功能的圆满实现奠定更扎实的基础。

摘要：医学图像检索是有效利用医学资源的基础,而医学图像的海量性和增量性为图像检索带来了新的挑战和要求;为了提高医学图像检索过程的效率,设计并实现一种基于flink的海量医学图像检索系统;首先,系统通过Web应用作为用户操作入口,在后端搭建数据平台和业务集群;其次,系统通过HBase对医学图像数据进行分布式存储,利用深度卷积神经网络模型提取医学图像特征;然后,将所提取的医学图像特征数据进行乘积量化编码,并通过HBase进行存储;最后,通过基于flink的内存计算对接Kafka进行实时图像检索,以及对批量导入图像的特征索引编码;系统在4个节点的服务器上部署分布式集群,使用真实医学图像数据集进行测试,通过在MapReduce和Spark两种不同技术模块下的对比实验表明本系统具有更好的检索效率表现。

摘要：在大数据时代,数字化转型是企业发展战略的必然选择,而实时数仓建设则是数字化转型的重点。实时计算相对于传统的批处理,能够快速体现数据的价值,有着广泛的实时业务场景需求。本文提出一种基于flink的实时数仓设计,并在DPI业务场景得到实践验证,有效支撑了运营商对业务请求次数、流量、活跃用户数、业务成功率等多维度指标需求,可为其他更广泛的实时业务场景落地奠定坚实的基础。