数据需求驱动的Storm应用辅助开发框架

作     者：周雯 史雪菲 吴毅坚 赵文耘 ZHOU Wen;SHI Xue-fei;WU Yi-jian;ZHAO Wen-yun

作者机构：复旦大学软件学院上海201203 上海市数据科学重点实验室上海201203 

基　　金：上海市科技发展基金项目(16JC1400801)资助 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2018年第45卷第9期

页      码：81-88页

摘      要：Storm支持流式数据的高性能实时计算,是一种广泛使用的流式计算框架。在Storm应用的开发中,开发人员需要针对不同的流式数据需求定制开发相应的计算模块,从而导致大量的重复工作,且难以适应数据需求的变动。如何根据流式数据格式和计算方式等数据需求,快速开发Storm应用并配置相应的环境,是提升大部分流式计算应用开发效率的重要问题。提出了流式数据需求描述方法,设计并实现了一种基于Storm的、由数据需求驱动的流式数据实时处理应用辅助开发框架,其根据业务人员描述的领域数据需求自动生成符合数据处理需求的Storm实时数据处理应用。实验表明,该框架能帮助不具备Storm开发能力甚至非软件开发人员快速配置常见的基于Storm的流式计算应用,对于常见的流式数据的实时处理需求具有一定的适应性。

主 题 词：流式计算 开发框架 数据需求 Storm 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.11896/j.issn.1002-137X.2018.09.012

馆 藏 号：203376843...