Storm平台下的线程重分配与数据迁移节能策略

作     者：蒲勇霖 于炯 鲁亮 李梓杨 卞琛 廖彬 PU Yong-Lin;YU Jiong;LU Liang;LI Zi-Yang;BIAN Chen;LIAO Bin

作者机构：新疆大学信息科学与工程学院新疆乌鲁木齐830046 中国民航大学计算机科学与技术学院天津300300 广东金融学院互联网金融与信息工程学院广东广州510521 新疆财经大学统计与数据科学学院新疆乌鲁木齐830012 

基　　金：国家自然科学基金(61862060,61462079,61562086,61562078) 新疆维吾尔自治区研究生科研创新项目(XJ2019G038) 新疆大学博士生科技创新项目(XJUBSCX-201902) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2021年第32卷第8期

页      码：2557-2579页

摘      要：作为流式大数据计算的主要平台之一,Storm在设计过程中由于缺乏节能的考虑,导致其存在高能耗与低效率的问题.传统的节能策略并未考虑Storm的性能约束,可能会对集群的实时性造成影响.针对这一问题,设计了资源约束模型、最优线程重分配模型以及数据迁移模型.进一步提出了Storm平台下的线程重分配与数据迁移节能策略(energy-efficient strategy based on executor reallocation and data migration in Storm,简称ERDM),包括资源约束算法与数据迁移算法.其中,资源约束算法根据集群各工作节点CPU、内存与网络带宽的资源占用率,判断集群是否允许数据的迁移.数据迁移算法根据资源约束模型与最优线程重分配模型,设计了数据迁移的最优化方法.此外,ERDM通过分配线程减少了节点间的通信开销,并根据大数据流式计算的性能与能效评估ERDM.实验结果表明,与现有研究相比,ERDM能够有效降低节点间通信开销与能耗,并提高集群的性能.

主 题 词：大数据 流式计算 实时性 资源约束 数据迁移 能耗 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

核心收录：

D　O　I：10.13328/j.cnki.jos.006074

馆 藏 号：203104639...