基于Hadoop平台的日志分析模型

作     者：于兆良 张文涛 葛慧 艾伟 孙运乾 YU Zhao-liang;ZHANG Wen-tao;GE Hui;AI Wei;SUN Yun-qian

作者机构：中国航天工程咨询中心北京100048 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2016年第37卷第2期

页      码：338-344,428页

摘      要：为提高企业网络内海量日志数据的分析效率,构建基于Hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。

主 题 词：Hadoop平台 日志分析 MapReduce编程模式 Apriori算法 数据挖掘 并行化 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2016.02.011

馆 藏 号：203382365...