Hadoop YARN大数据计算框架及其资源调度机制研究

作     者：董春涛 李文婷 沈晴霓 吴中海 Dong Chuntao;Li Wenting;Shen Qingni;Wu Zhonghai

作者机构：北京大学北京100086 

基　　金：国家自然科学基金重点项目(61232005) 国家863计划(SS2015AA011710) 深圳科技攻关项目(JSGG20140516162852628) 

出 版 物：《信息通信技术》 (Information and communications Technologies)

年 卷 期：2015年第9卷第1期

页      码：77-84页

摘      要：Hadoop 2.0提出一种新的资源管理系统YARN,它可以支持多种大数据计算框架(如Map Reduce、Storm、Spark等),目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此,文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上,重点研究Hadoop YARN中的资源调度机制,包括其资源调度器的模型与机制,及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原理和脆弱性,并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。

主 题 词：大数据 YARN计算框架 资源管理器 容量调度器 公平调度器 欧米伽调度器 拒绝服务攻击 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

馆 藏 号：203843595...