基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

作     者：高晓俊 朱琛刚 

作者机构：江苏省广电有线信息网络股份有限公司 

出 版 物：《有线电视技术》 (Cable TV Technology)

年 卷 期：2017年第24卷第10期

页      码：42-47页

摘      要：为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。

主 题 词：数据仓库 分布式文件系统 SQL-on-Hadoop HBase 可扩展性 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.16045/j.cnki.catvtec.2017.10.008

馆 藏 号：203279195...