摘要：【目的】设计并实现DSpace日志实时统计分析系统,满足用户各种实时统计需求,弥补DSpace自带统计功能的不足。【应用背景】受DSpace系统自身设计的限制,其自带的日志统计功能单一,表现形式僵化,不能实现交互式统计分析。【方法】运用logstash实时收集并分析DSpace日志,运用Elastic Search对分析后的日志进行索引,构建Query DSL查询调用Elastic Search的Java API实现不同的统计功能,并采用ECharts组件图形化展示结果。【结果】DSpace日志实时统计分析系统能够实现用户自定义时间区间统计条目、合集和社群的浏览排行,条目对象下载排行以及访问地区排行等。统计的结果可以以不同图表形式展现。【结论】运用logstash和Elastic Search实现DSpace日志统计,不需要修改DSpace源代码,组件安装部署简单,实现人机互动式查询统计,统计结果快速且实时,结果展现形式多样。

摘要：阐述跨网络多源日志采集分析系统的设计,该系统通过logstash对所有日志文件进行多点分布式采集,通过Storm流式框架对日志数据进行实时处理,通过Hadoop的分布式文件系统进行日志存储分析,从而有效完成信息内外网多源分布式日志采集,具有良好的实时性和可扩展性。

摘要：为了进一步推进《"互联网+政务服务"技术体系》统一要求,上海市人力资源和社会保障局电子证照库采用顶层设计、统一标准、统一平台模式建设。详细介绍电子证照系统的架构设计和关键技术框架,通过引入服务化架构,提高业务复用及整合。系统利用Dubbo设计分布式服务框架,采用ELK开源日志解决方案的logstash工具用来统一日志的搜集、分析、过滤日志,采用jenkins自动化部署平台。实际应用证明了该设计的合理性和安全性,给公众带来极大的方便性。

摘要：随着保险行业信息化规模的不断扩大,各垂直领域的业务数据越来越多,不可避免地给传统结构化数据库在存储和查询效率方面带来了巨大挑战。如何实现数据的冗余备份和快速、高效查询已成为企业信息技术的一大难题。本文提出一种基于ElasticSearch的车型分布式搜索引擎,同时结合logstash进行数据收集,实现车型数据的过滤存储和索引,并为保险出单系统提供统一的查询入口和高效的检索服务。实践表明,该系统可实现数据的冗余备份并提高检索车型数据的效率,目前已经在保险行业核心系统得到实际应用,取得了较好效果。

摘要：现阶段网络数据巨大,为了从大量数据中发现特定情况的规律与特征,大数据时代需要实现对海量数据信息的分析,而一切数据分析的前提与关键是数据采集的完整性。但是目前许多数据采集结构并没有实现性能最优化,没有最大限度发挥服务器的性能,资源消耗大,那么从优化数据采集系统结构方向实现数据采集效率最大化,成为趋势。提出一种优化的数据采集结构,并通过其与原有简易结构对比分析,实测两者采集数据承载力,得到一种能够适应突发、并发网络环境的数据采集结构。

摘要：为应对高校校园网的Web应用安全威胁,设计了基于ELK的日志安全威胁监测平台。首先对Web日志进行数据分析,挖掘其中的安全威胁攻击模式,形成安全监测模型库并将其应用于实时安全监测。系统运行结果证明,该平台可以发现校园网中的安全威胁,可视化关联分析便捷,能有效地提高运维效率和安全攻击排查的速度。

摘要：日志数据是IT基础设施运行情况的真实反映,是IT运维管理与网络安全分析的基础.本文介绍了高校校园网日志主要来源,分析了构建日志分析平台的关键技术,提出了基于ELK开源软件构建高校校园网日志平台,给出了高校校园网日志平台设计方案.该方案以高校校园网为研究对象,实现校园网原始日志采集、日志存储、日志可视化分析功能,具有实时性好、可扩展性强、成本低等优点.

摘要：针对重点涉油气企业犯罪人群分布特性,构建一个分析模型至关重要。通过对比分析、经验总结及仿真实验等研究方法来全局掌握涉犯罪人群热度指数、分布密度等因素,并借助服务器和Storm等相关技术搭建数据处理平台,再基于logstash构建热力图,对数据具体位置结果进行判定,实现最终的设计及体系架构。经过本次构建研究,可以更精准地监测犯罪者,预判涉油气行业,尤其是在未来涉油气犯罪的总体趋势,充分发挥了数据处理的实时性,为涉油气企业资源犯罪的防控提供了相应的参考依据与保障。