基于事件驱动的MapReduce类流量产生方法与网络评测

作     者：邵恩 孙凝晖 郭嘉梁 元国军 王展 曹政 SHAO En;SUN Nin-Hui;GUO Jia-Liang;YUAN Guo-Jun;WANG Zhan;CAO Zheng

作者机构：中国科学院计算技术研究所计算机体系结构国家重点实验室北京100190 中国科学院大学北京100049 

基　　金：国家重点研发计划项目(2016YFB0200300 2016YFGX030148 2016YFB0200205 2016GZKF0JT006) 国家自然科学基金项目(61572464 61402444) 中国科学院战略性先导科技专项(XDB24060600)资助 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2018年第41卷第10期

页      码：2265-2281页

摘      要：大规模网络结构设计是构建大规模分布式系统和E级高性能计算集群的核心技术之一,底层网络设计者需要结合顶层应用通信流量特征,进行网络结构选型与优化.不当的应用通信模型会引起网络结构设计与实际需求的背离,进而导致系统通信和整体性能的下降.传统基于"黑盒"数据分析的流量建模方法存在业务建模粒度粗和应用数据规模扩展性差等缺陷.该研究引入模拟业务内部逻辑的"事件驱动"思想,提出一种针对主流计算模式MapReduce进行流量建模与流量产生方法.与真实应用流量的对比评测显示,该方法能够准确体现MapReduce计算业务所产生网络流量的特征.基于正确的流量模型,该文对四种主流数据中心网络进行了性能模拟分析.结果表明:相较负载随机均匀分布流量,同一种网络在负载MapReduce特性流量时性能将下降超过30%,因此特性流量能更加明显地展现网络拥塞与瓶颈问题.仿真实验所得到的有关网络性能瓶颈、拓扑可扩展性以及网络性价比的结论,为大规模数据中心网络选型和性能优化提供了新的依据.

主 题 词：分布式系统 MapReduce 数据中心网络 事件驱动 大规模网络模拟 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 08[工学] 081201[081201] 0812[工学-测绘类] 

核心收录：

D　O　I：10.11897/SP.J.1016.2018.02265

馆 藏 号：203376668...