摘要：作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

摘要：针对流式计算框架在最初设计时缺乏能效方面的考虑,导致其存在高能耗与低效率的问题,提出一种流式大数据平台下的弹性数据迁移节能优化策略。首先,建立负载预测模型与资源判定模型,并进一步设计负载预测算法,通过预测负载变化趋势确定节点资源占用,找到资源过载与过剩节点;其次,建立资源约束模型与最优数据迁移模型,由此提出最优数据迁移算法,以提高节点资源利用率为目的进行数据迁移;最后,建立能耗模型,计算集群进行数据迁移后节约的能耗。实验结果表明,数据迁移节能优化策略能够对集群内节点资源变化做出及时响应,并在提高节点资源利用率的基础上,有效提高集群数据处理的能效。

摘要：针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁移合并算法和节点降压算法。其中资源约束算法根据资源约束模型,判断工作节点是否允许数据的迁移;数据迁移合并算法根据最优线程数据重组原则,设计了最优的线程数据迁移方法;节点降压算法根据节点降压限制条件,降低了工作节点的电压。实验结果表明,与现有的节能策略相比,执行DMM-Storm在不影响集群性能的前提下,有效降低了能耗。

摘要：作为目前主流的大数据流式计算平台之一,Storm在设计之初以性能为目的进行研究而忽视了高能耗的问题,但是其高能耗问题已经开始制约着平台的发展.针对这一问题,分别建立了任务分配模型、拓扑信息监控模型、数据恢复模型以及能耗模型,并进一步提出了基于Storm平台的数据恢复节能策略(energy-efficient strategy based on data recovery in Storm,DR-Storm),包括吞吐量检测算法与数据恢复算法.其中吞吐量检测算法根据拓扑信息监控模型反馈的拓扑信息计算集群吞吐量,并通过信息反馈判断是否终止整个集群内拓扑的任务.数据恢复算法根据数据恢复模型选择备份节点用于数据存储,并通过拓扑信息监控模型反馈的信息判断集群拓扑是否进行数据恢复.此外,DR-Storm通过备份节点内存恢复集群拓扑内的数据,并根据大数据流式计算的系统延迟与能效评估DR-Storm.实验结果表明:与现有研究成果相比,DR-Storm在减少系统计算延迟、降低集群功率的同时,有效节约了能耗.

摘要：针对传统大数据流式计算平台节能策略并未考虑数据处理及传输的实时性问题,首先根据数据流处理的特点与storm集群的结构,建立有向无环图、实例并行度、任务资源分配与关键路径模型。其次结合拓扑执行关键路径与系统性能的分析,提出一种storm平台下工作节点的内存电压调控节能策略(WNDVR-storm,energy-efficient strategy for work node by dram voltage regulation in storm),该策略针对是否有工作节点位于拓扑执行的非关键路径上设计了2种节能算法。最后根据系统数据处理及传输的制约条件确定工作节点CPU使用率与数据传输量的阈值,并对选定的工作节点内存电压做出动态调整。实验结果表明,该策略能有效降低能耗,且制约条件越小节能效率越高。

摘要：针对大数据流式计算平台拓扑中因各关键节点上任务间不同类型的通信方式导致的通信开销较大问题,提出一种Flink环境下的任务调度策略。通过各任务间数据流大小确定拓扑边权重,将有向无环图转化为拓扑关键路径模型,在保证关键路径上节点负载差异较小的同时,最小化关键任务的节点间通信开销。实验结果表明,该算法与Flink平台现有的任务调度策略相比,在WordCount和TwitterSentiment作业执行过程中计算平均时延降低了13.09%,有效提升了系统性能。

摘要：推荐算法是一种用于解决信息过载问题的方法,序列化推荐通过建模用户购买的物品序列预测下一个物品。现有的序列化推荐算法通常忽视用户行为序列中的噪声、跨序列信息和物品间的组合依赖等问题,导致推荐性能受限。为此,提出一种小波卷积增强的对比学习推荐算法WCLR。利用数据的内在相关性获得自监督信号,并根据预训练的方法来增强数据表示。给出3个辅助的自监督学习任务,利用信息最大化原理学习属性、物品、序列与邻居序列的相关性,通过互信息最大化提供一种统一的方式描述不同类型数据间的相关性。由于小波卷积网络能提取物品的组合依赖,降低用户交互序列中的噪声,设计一个多核小波卷积模块,通过多尺寸用户序列多方面捕获用户的潜在兴趣,将自监督学习和小波卷积融入到推荐算法模型中,降低序列数据稀疏性和噪声,提高推荐精度。在LastFM、Beauty和Toys 3个数据集上的实验结果表明,与8个序列化推荐模型相比,WCLR算法的命中率、归一化折损累计增益和平均倒数秩分别提升了3.30%、1.47%和2.17%。

摘要：为解决当前基于知识蒸馏的推荐算法排名有效性和效率低,以及现有知识蒸馏模型更强调的是静态和单一知识迁移的问题,提出一种基于排序蒸馏的序列化推荐算法。训练一个性能优越、规模大的教师模型,训练一个符合移动终端设备的小模型即学生模型,使学生模型在教师模型的指导下学习排序。学生模型实现了与教师模型相似的排名性能,且学生模型规模较小提高了在线推荐效率。通过在数据集MovieLens和Gowalla上的实验,验证了该模型增强了学生模型的学习效果,缓解了学生模型学习不充分导致排名不佳的问题。模型可以自然地运用于序列化推荐的模型中,具有很好的通用性。

摘要：针对采用松弛-量化策略的深度哈希方法面临的二值码离散优化的难题,提出一种端到端的基于成对标签的哈希方法来学习更具有判别力的哈希码,通过优化损失函数来解决离散优化丢失信息的问题。引入锚点哈希码概念,以汉明空间中的锚点作为监督信息训练AlexNet网络,将表示图片的二值码拟合至各锚点附近,使用优化后的损失函数计算分类误差和锚点误差,使哈希函数生成具有强判别力的哈希码。在CIFOR-10数据集和ImageNet-100数据集上实验,检索精度优于当前主流方法。

摘要：作为新一代大数据流式计算框架,Heron忽略了任务实例之间不同通信方式的差异以及节点资源利用率不均衡的问题导致系统性能下降。针对这一问题,设计了节点资源限制模型、通信开销优化模型和实例数据流关系模型,并在此基础上提出了Heron环境下基于实例重分配的传输负载优化策略(transmission load optimization strategy based on instance reallocation in Heron,TLIR-Heron)。该策略包括节点资源限制算法和实例重分配算法,通过判定实例重分配条件并执行重分配算法将节点间数据流转换为节点内数据流,从而降低通信开销。实验结果表明,在三组拓扑测试下,TLIR-Heron相较于Heron默认调度策略能够降低节点间通信开销和系统的计算延迟,并提升了计算节点资源利用的均衡性。