基于大数据的电商数据仓库可视化平台的设计与实现

作     者：吴宪传 吴绍荣 颜远海 Wu Xianchuan;Wu Shaorong;Yan Yuanhai

作者机构：广州华商学院数据科学学院广州511300 

基　　金：广东省高等学校青年创新人才项目(自然科学)(2017KQNCX266) 

出 版 物：《现代计算机》 (Modern Computer)

年 卷 期：2023年第29卷第21期

页      码：61-70页

摘      要：随着电商迅猛发展,为了精准发掘电商企业数据潜在的巨大价值,为解决传统数据库技术面对海量数据时出现的问题,设计了基于大数据技术开发电商数据仓库可视化系统。系统采用Flume-Kafka-Flume框架,以Sqoop作为数据采集工具,HDFS作为数据存储框架,Hive部署电商数据仓库,Spark作为Hive计算引擎。系统主要设计了数据采集模块、电商数据仓库模块和数据可视化模块等三大功能模块,通过需求分析和概要设计对各模块进行详细的设计,最后实现数据可视化展示,测试结果与预期一致,为中小型企业及管理者制定方案和策略提供参考。

主 题 词：大数据 数据仓库 可视化 数据采集 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 

D　O　I：10.3969/j.issn.1007-1423.2023.21.012

馆 藏 号：203125291...