基于MPP-Hadoop混合架构高校数据集成系统研究

作     者：邓涵元 卢山 程光 DENG Han-yuan;LU Shan;CHENG Guang

作者机构：武汉邮电科学研究院湖北武汉430074 南京烽火软件科技有限公司江苏南京210019 东南大学江苏南京210019 

基　　金：国家自然科学基金(61602114) 国家"863"高技术发展计划项目(2015AA015603) 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2018年第28卷第8期

页      码：160-163,169页

摘      要：随着数字化校园的建设,传统的数据集成系统在海量数据环境下数据查询和加载的效率均有所下降,且难以对非结构化、半结构化数据进行融合和分析。针对以上情况,依托高校大数据平台,从各个异构系统中抽取出数据,结合Hadoop和MPP技术的优势,设计并实现了一个基于MPP-Hadoop混合框架的高校异构数据集成系统,融合多种不同结构数据,提升了数据查询和加载的效率。以某高校为例,从学生的门禁刷卡系统和校园网系统中抽取出学生的行为轨迹数据,载入MPP数据仓库,进行数据融合,并与传统数据仓库产品Oracle搭建的现有高校数据集成系统进行数据加载和数据查询效率方面的对比评测,验证了系统的有效性并且为学生的学习生活、心理等各方面的管理工作提供一定的技术支持和指导。

主 题 词：数据集成 高校大数据 MPP Hadoop GreenPlum 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1673-629X.2018.08.034

馆 藏 号：203330992...