摘要：为帮助商家实时了解客户对自家商品的关注度,以便及时做出正确的营销策略,本文设计了一个流式计算商品关注度系统。系统通过socket算法实现模拟客户信息的生成,使用Spark Streaming流式计算框架构建实时数据处理系统。数据包括客户在每件商品上浏览的次数、停留的时间、是否收藏该件商品和购买商品数。测试结果表明,该系统能够同时展示出不同终端商品浏览、商场用户地域分布、地区排名、累计浏览分析和商品关注度分析,便于用户作进一步分析。

摘要：某运营商在现网垃圾短信治理中,常采用关键字+规则的方法,难以在拦截成功率和误拦正常短信之间找到平衡。基于文本语义分析识别垃圾短信,则需要解决大数据挖掘算法、海量数据处理、响应时效等问题,因此在大业务量的集约化平台上应用并不广泛。通过算法研究、开发原型系统等工作,探索基于流式计算的垃圾短信治理技术方案,研发了一套基于Storm+Mahout架构的垃圾短信识别原型系统,完成了性能和准确率测试,取得了较好的效果。

摘要：随着互联网和信息技术的深入发展,新型数据——流数据,开始广泛应用在无线通信网络、传感器网络、金融股票交易等领域。流数据与传统数据集有所不同,其特点是数据规模庞大、具有时序性、变化速度快等特点。传统的大数据批量计算模型已经无法满足流数据处理的实时性要求。在航天测控中心系统中的大量测量数据由测控设备解码,生成原始数据并发送到测控中心。这些带有时间戳的原始数据、处理数据、处理结果以及程序状态信息形成了时序大数据。本文分析了时序大数据流式计算处理在航天测控中心系统中的应用。

摘要：针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

摘要：大数据处理技术按照时效性可分为批处理与流处理两种模式。大量航天器工程测量数据经过测控设备的解码、译码等处理后形成原始数据发往测控中心,带有时间戳的这些原始数据、过程数据、处理结果数据及软件状态信息组成了时序大数据。通过对航天测控中心智能化决策模型的研究,设计了一种基于流式计算技术在航天测控中心系统的应用方法,指出了当前消息队列系统的瓶颈,并提出采用Kafka的消息通信机制来解决任务数量受限的问题。

摘要：动车组故障预测与健康管理(PHM)技术是构建动车组精准化运用维修体系的关键环节,对完善动车组全生命周期管理、推进动车组造修水平提升具有十分重要的意义。通过对动车组运维需求分析,提出了基于PHM技术的动车组智能运维目标,以及包含状态监测、故障预测、健康评估、决策支持和运维分析等功能的系统设计架构;构建了基于PHM的动车组智能运维规范体系。对动车组全生命周期数据分析、PHM模型构建、高频流式计算方法、异构模型统一管理、PHM驱动的运维生产组织等技术展开研究。基于PHM的智能运维系统在全路获得了应用,实现了监测、决策与执行全流程信息流通。

摘要：随着物联网的建设,自动化数据采集程度越来越高,充分利用自动采集数据,有效挖掘数据价值,是智能油田建设的一项重要内容。大数据流式计算主要用于对动态产生的数据进行实时计算并及时反馈结果。在数据的有效时间内获取其价值,是大数据流式计算的首要设计目标。结合大数据流式计算,充分利用数据时效性,在业务分析基础上建立预警模型,实现了稠油注蒸汽锅炉运行的趋势预警。

摘要：本文基于山东省气象大数据云平台“天擎”,采用Storm流式处理技术,从数据收集、数据解码、数据入库、数据监控等方面设计数据处理原型,解决2021年4月标准格式切换后非考核地面气象自动站数据无法提供数据服务的难题,并与多线程处理程序进行时效对比,实践表明,基于Storm的数据处理程序更能满足现有业务系统对数据时效的要求。

摘要：文章扩展了Spark-Streaming的功能,使之能够支持地学流式计算场景下的时空查询。首先,设计并实现了一个中间件,该中间件提供了对空间对象、空间索引、空间分区的支持。其次,基于这个中间件,在Spark-Streaming上实现了一组经典的时空查询算法,这些算法包括空间最近邻域搜索(Spatial K Nearest Neighbor Query,KNN Query)、区域查询(Range Query,RQ)。最后,在一个大规模真实数据集和一个8节点集群上验证了这些算法,评估了流式计算场景下的时延、吞吐等性能指标。

摘要：在数字治理的大环境下,组织或企业需要通过一套更加科学的网络监控方法来治理和管理在异构网络中出现的端到端问题。文章采用当前流行的大数据流式计算和关联分析方法,基于数据挖掘思想对异构网络环境下的VPDN端到端性能监控进行了分析,提出性能质量监控框架,并整合现有平台设计出监控软件体系结构,解决了VPDN无法端到端监控的问题,有效提升了数字治理的质量和效率。