海量日志采集可视化平台设计

作     者：贾继洋 徐涛 潘文文 李旭宏 JIA Jiyang;XU Tao;PAN Wenwen;LI Xuhong

作者机构：枣庄学院信息科学与工程学院山东枣庄277160 

基　　金：枣庄学院校级项目物联网在重症监护中应用研究(No.102061903)资助 

出 版 物：《福建电脑》 (Journal of Fujian Computer)

年 卷 期：2021年第37卷第12期

页      码：117-120页

摘      要：海量数据应用场景下,传统的ELK架构因LogStash占用资源过多等问题,会出现性能瓶颈。本文提出的海量日志采集可视化平台对传统的ELK架构进行了优化,使用FileBeat替换LogStash用于采集业务数据,利用Kafka集群作为消息缓冲队列。改进后的ELK架构通过集群方式部署,大大降低了系统资源的占用,提高了数据传输的可靠性,适合大型集群和海量数据业务场景。

主 题 词：海量数据 ELK 日志收集 FileBeat Kafka 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16707/j.cnki.fjpc.2021.12.027

馆 藏 号：203106374...