基于大数据技术的IT基础设施日志分析系统设计与实现

作     者：张春生 郭长杰 尹兆涛 Zhang Chunsheng;Guo Changjie;Yin Zhaotao

作者机构：中国人民大学 中国石油规划总院 

出 版 物：《微型电脑应用》 (Microcomputer Applications)

年 卷 期：2016年第32卷第6期

页      码：49-52页

摘      要：针对IT运维人员对基础设施各类日志进行统一管理和查询的需求,分析、设计了基于Hadoop的日志系统功能架构、技术架构以及应用场景。系统通过Rsyslog统一收集各类日志数据,利用Hive对日志进行进一步清洗和转换,将海量日志数据分类存储于HDFS,按业务规则统计分析日志信息,将计算结果定时导入MySQL数据库用于前端展示。系统实现了日志统一收集、分析处理、查询告警等功能,为IT运维人员提前发现系统故障、排查安全隐患提供有效工具。

主 题 词：IT基础设施 Hadoop 日志分析 系统架构 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-757X.2016.06.015

馆 藏 号：203182634...