不同粒度下的时序数据调度系统设计与实现
作者机构:中国海洋大学信息科学与工程学院山东青岛266100 张裕葡萄酿酒股份有限公司山东烟台264001
出 版 物:《福建电脑》 (Journal of Fujian Computer)
年 卷 期:2015年第31卷第11期
页 码:128-130页
摘 要:随着社会信息化程度的不断提高,互联网技术发展迅速。为解决网络中的单机模式与时序数据调度的问题,本文利用Clojure语言在Linux平台上设计与实现了一个基于Hadoop面向时序数据的调度系统。该系统基于开源的Hadoop调度系统Oozie,针对时序数据在任务流之间的复杂变化和任务流中不同任务之间的依赖关系这两方面进行设计与实现。在确保数据粒度与任务之间正确依赖的前提下,提供了一套简单方便的应用程序编程接口用来定义Hadoop任务。
学科分类:12[管理学] 1201[管理学-管理科学与工程类]
D O I:10.16707/j.cnki.fjpc.2015.11.069
馆 藏 号:203156613...