摘要：随着互联网的迅猛发展,越来越多的互联网广告开始出现.互联网广告以其精准,快速,高效的投放,给广告主带来了丰厚的回报.通过对广告投放系统实时数据处理的分析,针对重定向和实时数据统计等问题,提出了流式处理的方案,运用Storm等技术,设计并实现一种广告投放的流式数据处理系统,详细论述了其设计与实现过程.

摘要：设计了一种支持逻辑电路辅助计算的相变存储系统,将计算密集型任务卸载至基于逻辑电路的相变存储器(PCM)中,以解决由于大量数据迁移而造成的传输瓶颈问题;同时,利用逻辑电路的并行执行能力来实现对数据的高效处理,并利用PCM的独特优势来提高系统的整体性能.结果表明,所提出的相变存储系统比传统的数据处理方式的性能更佳.

摘要：作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

摘要：对近年来在电力系统中出现的大规模数据流进行了探讨,目的是利用流式计算技术提高系统的实时性和安全性。针对大规模用电信息采集中用电数据流的快速聚类和异常检测技术展开研究。结合分布式流式计算平台Spark Streaming,基于用电行为在纵向时间和横向空间上表现出的聚类特性,即同类用户具有相似用电模式和同一用户历史数据具有相似性,设计并实现了流式DBSCAN聚类算法,以实现对大规模用电数据流的快速异常检测。设计并搭建了支持大规模数据流处理的实验环境,证明了算法的有效性。

摘要：针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。

摘要：作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.

摘要：在大数据时代,数字化转型是企业发展战略的必然选择,而实时数仓建设则是数字化转型的重点。实时计算相对于传统的批处理,能够快速体现数据的价值,有着广泛的实时业务场景需求。本文提出一种基于Flink的实时数仓设计,并在DPI业务场景得到实践验证,有效支撑了运营商对业务请求次数、流量、活跃用户数、业务成功率等多维度指标需求,可为其他更广泛的实时业务场景落地奠定坚实的基础。

摘要：伴随着现代国际经济交流和贸易往来的迅猛增长以及日益错综复杂的国际安全局势,中国海关的风险管理工作也迎来新的挑战。中国海关通过大数据技术建设了集数据采集、知识管理、智能风险决策、实时风险甄别、智能模型应用等功能于一体的智能风控平台。该平台采用微服务架构设计,结合规则引擎、流式计算、分布式计算等技术突破了原有技术瓶颈,在系统稳定性、扩展性、吞吐量等方面都实现了质的飞跃。通过该平台的应用,中国海关风险管理部门实现了涵盖事前监测预警、事中风险处置、事后分析评估全流程多业务领域的风险闭环管理。

摘要：针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。

摘要：复杂事件处理是大数据时代的关键技术之一。针对现有的复杂事件处理平台存在的各种问题,提出并设计了一个以复杂事件流处理语言CEStream为基础的分布式复杂事件流处理平台,实现了基于正规树模式的事件检测功能,支持多数据源的复杂事件处理。针对多数据源组合事件模式的检测需求,该平台可以将复杂事件分解为多个独立的事件检测任务,部署在集群中不同节点和远端的事件检测代理上。实验结果表明,系统的吞吐量和响应时间达到了预期结果,可以满足目前主流的复杂事件处理的应用需求。