基于Hadoop的实时数据处理系统设计与实现

作     者：李明东 王英 焦杰 

作者机构：宿州学院安徽宿州234000 

基　　金：2018年安徽省自然科学研究重点项目"多维社交网络结构影响下的信息传播研究"(KJ2018A0448) 安徽省高校优秀中青年骨干人才国内外访学研修重点项目(GXFXZD2016263) 新一代信息技术产业人才的创新创业能力培养研究(编号:2017xgkxm48) 省级智慧课堂试点项目:软件工程智慧课堂试点(2017zhkt477) 

出 版 物：《赤峰学院学报（自然科学版）》 (Journal of Chifeng University(Natural Science Edition))

年 卷 期：2019年第35卷第4期

页      码：47-49页

摘      要：本文基于Hadoop平台设计了一个实时数据处理系统,通过对主流实时计算框架的研究,解决了Spark,puma没能解决的数据源主动接入问题.本系统设计主要包括核心计算模块设计、数据接入模块设计和存储模块设计.主要用到的算法包括可靠性机制算法、信号量机制算法、事务性机制算法等.实践结果表明,系统处理效率高且运行稳定.

主 题 词：Hadoop 实时数据处理 可靠性机制 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.3969/j.issn.1673-260X.2019.04.016

馆 藏 号：203666311...