摘要：随着软件系统越来越复杂化和分布化,为系统提供具有完善功能的监控服务显得越来越重要.APM(application performance management)系统通过采集软件系统运行时的各项指标数据来分析软件的运行状态,例如CPU、内存使用率、垃圾回收的耗时、QPS等指标.此外,APM系统也会在软件运行中生成各种日志数据.通常来说,它能提供的监控数据分为3种:指标统计数据、链路跟踪(tracing)数据以及离散事件记录.这些数据有助于系统或者服务的维护人员理解运行状态,从而确保系统或者服务的稳定运行.基于开源的APM监控系统——CAT系统,提出了一种针对tracing类型数据的存储设计方案,通过内存块批量写入的方式提升存储效率,并设计了两级索引以提高查询效率.从线上的真实运行数据来看,该方案在写入性能和查询性能方面均有较好的表现.

摘要：为了解决安全产品的日志文件保护和数据共享问题,论文提出一种基于区块链的日志存储(LSSBC)系统。LSSBC系统包括角色、LSBC链和云存储三部分;通过结合区块链技术设计了日志文件的链上发布、存储和共享功能;最后,对LSSBC系统进行了总结分析。经分析,LSSBC系统为安全产品的日志保护和数据共享提供了全新可行的解决方案,有利于推进安全行业研究。

摘要：针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法。设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件。实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录。

摘要：随着"互联网+计量"模式的不断推进,计量系统日志量迅猛增长,计量领域的大数据时代已经到来。近年来,随着日志采集存储系统的发展,分布式存储正逐步应用到日志系统领域。本文针对大数据环境下的计量日志存储提出一种基于Zoo Keeper的存储方法,并将状态轮询机制与一致性哈希算法相结合,增强了日志存储的性能,提高了日志存储的效率以及安全性。

摘要：为了解决校园网络日志存储中流量变化导致的机械硬盘平均访问时间长、波动大的问题,设计了一种通过流量预测进行日志写入的方法。首先,提出流量定界算法对流量进行划分为高峰期、中间期与低谷期。然后,利用BP神经网络对不同时期的流量数据进行训练,构建流量预测模型。最后,基于流量预测模型,设计日志存储算法。实验结果表明:与已有的日志写入方法相比较,基于流量预测的日志写入方法在流量高峰期时机械硬盘的平均访问时间从90 ms减小至59 ms以下,同时,平均访问时间的方差从224.5降至50.2。

摘要：日志数据是数据中心问题分析定位的重要依据,可以直接反映各种设备和应用的运行情况。基于数据中心日志分析的业务需求,构建了基于开源软件Logstash+Flink/Hive+Elasticsearch+Grafana的日志分析平台,旨在全面准确地采集数据中心日志数据,实时分析数据或离线分析数据,集中存储数据,并以可视化的方式集中展示日志数据分析的结构,辅助数据中心相关人员即时掌握数据中心设备和应用的运行情况。

摘要：针对地理信息公共服务平台对日志大数据量和高并发访问的实际需求,提出一种基于MongoDB的日志服务架构,经性能测试该架构对硬件环境要求低、存储效率高、数据入库异步执行、日志功能与核心业务系统无耦合等特性,可以满足日访问百万级的日志存储需求,为地理信息公共服务平台后续的日志分析和大数据挖掘提供了直接的数据源支持。

摘要：日志数据是IT基础设施运行情况的真实反映,是IT运维管理与网络安全分析的基础.本文介绍了高校校园网日志主要来源,分析了构建日志分析平台的关键技术,提出了基于ELK开源软件构建高校校园网日志平台,给出了高校校园网日志平台设计方案.该方案以高校校园网为研究对象,实现校园网原始日志采集、日志存储、日志可视化分析功能,具有实时性好、可扩展性强、成本低等优点.

摘要：实现新能源车数据监控,有助于对新能源车的车辆运行状况进行管理分析。通过对新能源车数据的了解研究,基于国标要求,设计出可以进行车辆数据采集、存储并上传的车载远程监控模块。该模块通过车端CAN线采集数据,实现数据的采集和存储,并通过4G模块进行数据上传,同时带有GPS定位功能。