基于Hadoop的流量日志分析系统

作     者：李博 颜靖艺 LI Bo;YAN Jingyi

作者机构：桂林航天工业学院计算机科学与工程学院广西桂林541004 桂林信息科技学院商学院广西桂林541004 

基　　金：桂林航天工业学院校级科研基金项目“大数据存储中性能提升和分布式计算的研究”(XJ20KT20) 

出 版 物：《桂林航天工业学院学报》 (Journal of Guilin University of Aerospace Technology)

年 卷 期：2021年第26卷第4期

页      码：412-420页

摘      要：为了降低大数据研究的复杂度和成本,推进大数据研究的普及化和民用化,设计和搭建了一种简洁便利基于Hadoop网站流量日志分析系统。系统基于Hadoop集群搭建,由Flume模块和MapReduce模块分别进行日志数据地采集和预处理,并由Hive模块进行数据分析,在Web页面实现数据可视化。在数据分析部分,结合PageRank算法对流量日志进行分析。仿真实验结果表明,系统可以完成流量日志分析,具有良好的性能。

主 题 词：Hadoop 大数据 日志分析 PageRank算法 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1009-1033.2021.04.004

馆 藏 号：203106988...