基于Storm平台的数据迁移合并节能策略

作     者：蒲勇霖 于炯 鲁亮 李梓杨 卞琛 廖彬 PU Yonglin;YU Jiong;LU Liang;LI Ziyang;BIAN Chen;LIAO Bin

作者机构：新疆大学信息科学与工程学院新疆乌鲁木齐830046 中国民航大学计算机科学与技术学院天津300300 广东金融学院互联网金融与信息工程学院广东广州510521 新疆财经大学统计与信息学院新疆乌鲁木齐830012 

基　　金：国家自然科学基金资助项目(No.61862060,No.61462079,No.61562086,No.61562078) 新疆维吾尔自治区研究生科研创新基金资助项目(No.XJGRI2016028) 新疆大学博士生科技创新基金资助项目(No.XJUBSCX-201902)~~ 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2019年第40卷第12期

页      码：68-85页

摘      要：针对Storm存在低效率、高能耗的问题,通过分析Storm平台的基本框架与拓扑结构,设计了资源约束模型、最优线程数据重组原则和节点降压原则,并在此基础上提出了基于Storm平台的数据迁移合并节能策略(DMM-Storm),包括资源约束算法、数据迁移合并算法和节点降压算法。其中资源约束算法根据资源约束模型,判断工作节点是否允许数据的迁移;数据迁移合并算法根据最优线程数据重组原则,设计了最优的线程数据迁移方法;节点降压算法根据节点降压限制条件,降低了工作节点的电压。实验结果表明,与现有的节能策略相比,执行DMM-Storm在不影响集群性能的前提下,有效降低了能耗。

主 题 词：大数据 Storm 资源约束 数据迁移 能耗 

学科分类：0810[工学-土木类] 1205[管理学-图书情报与档案管理类] 0839[0839] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 081202[081202] 

核心收录：

D　O　I：10.11959/j.issn.1000436x.2019226

馆 藏 号：203878732...