基于Chukwa的大规模日志智能监测收集方法

作     者：张川 邓珍荣 邓星 黄文明 ZHANG Chuan;DENG Zhen-rong;DENG Xing;HUANG Wen-ming

作者机构：桂林电子科技大学计算机科学与工程学院广西桂林541004 桂林电子科技大学广西可信软件重点实验室广西桂林541004 

基　　金：广西研究生校级创新计划基金项目(XJY2012017) 广西可信软件重点实验室研究课题基金项目(PF13089X) 广西教育厅基金项目(2009MS1195) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2014年第35卷第9期

页      码：3263-3269页

摘      要：针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法。在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性。该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤。实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值。

主 题 词：大数据 分布式存储和计算 日志监控与收集 并行计算模型 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1000-7024.2014.09.055

馆 藏 号：203162711...