摘要：互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。

摘要：从结构化、非结构化气象数据的存储、索引两方面,基于大数据相关技术设计一套省级气象大数据存储模型。结果表明,非结构化气象小文件利用Avro进行数据模式设计、依据存储规则合并打包为Avro格式文件存储在HDFS上,减少文件数,节省内存资源的消耗;规则的结构化气象数据利用HBase提出表、列字段、行键设计的宽表存储设计思路;利用elasticsearch设计统一的省级气象大数据存储索引库,统一检索入口,提高检索效率。

摘要：在运营商某融合通信系统中,传统的Hadoop海量文件批处理速度慢,数据库面对海量数据存储及全文检索能力弱,无法应对日常运维需要。处理海量业务日志且提升实时性,技术选型flume+Kafka+Spark+elasticsearch,改造为流式计算大数据技术架构。文章结合业务诉求,基于领域模型全新设计,DashBoard分层递进,渐进明细地实时发现故障-初步分析-根因分析-定界定位,大幅提升系统运维运营能力和时效性的同时,还降低了人力成本。

摘要：大规模人群行为数据,是通过高清摄像头采集的公共场所行人的群像数据,采集到的原始数据需要进一步进行数据分析,进而判断大规模人群的下一步动作。而Hbase作为知名Nosql数据库,无法有效的支撑根据多条件精准定位,亦不适用于大范围扫描查询。针对Hbase的以上特性,设计了一种基于elasticsearch的二级索引方案。使用Kafka、elasticsearch以及Hbase搭建了一套高效的数据采集,数据查询和数据分析的海量数据平台架构;利用elasticsearch的高效、多条件的检索功能,实现对Hbase的TB级别数据量的多条件快速查询,协同解决了对大规模人群行为分析数据的问题。

摘要：大型企业的业务数据往往以非结构化形式存储在多个系统中,如何在这些海量数据中精准搜索到所需的知识成为企业迫切需要解决的问题。文章将介绍一种融合智能采集、整理、索引、检索、分析以及推送数据的系统设计方案,解决了企业跨系统检索的难题,提高了企业的数据利用率。

摘要：随着物联网时代的到来,在电子产品需求量日益俱增的背景下,电子产品设计研发过程中电子元器件的选用工作是否方便、快捷、准确、有效成为了广大设计师关注的热点[1]。为了更好地开展电子元器件选型工作,适应社会发展需要,研究了表结构转换对数据查询优化的影响,重构了电子元器件数据底层,并充分地利用elasticsearch全文搜索引擎,提高了电子元器件数据查询能力,为广大设计师开展电子元器件产品选型工作提供了更快速的检索效率和更准确的产品定位。

摘要：地面自动气象站的时空密度不断增加,产生的观测数据量呈指数级增长,传统的关系型数据库在海量数据存储与检索方面存在能力不足、检索性能下降等问题。鉴于此,本文设计一种自动站分钟数据存储与检索系统。使用Quartz定时采集自动站分钟文件并解码入库;应用HBase分布式数据库建立分钟数据存储模型;针对多要素查询需求,应用elasticsearch建立辅助索引,实现HBase的二级索引。系统测试结果表明,分钟数据入库平均耗时54.6 s,二级索引完整可靠,数据检索结果返回时效达到毫秒级,能够满足业务应用中对自动站分钟数据存储和检索时效的要求。

摘要：当今时代,愈发庞大的数据难以有效处理运用和管理,需要一种更加合适的资源获取处理方式。该文基于大数据架构结合网络爬虫、数据清洗、信息检索等前沿技术,设计开发了地震科普知识资源库系统。其中运用了J2EE、Python、Hadoop、elasticsearch、MySQL等技术。通过网络爬虫和人工上传的方式采集地震科普相关信息资源,经过数据清洗转换后对信息资源进行自动分类,最后将资源上传至资源库hdfs分布式文件系统并将文件信息保存至elasticsearch分布式文件索引系统,由此实现大数据架构下的全文检索。同时,建立资源库的后台管理系统,用于网站的日常管理和维护。相比以前的集群文件系统更加高速便捷、更加的安全稳定。

摘要：传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.

摘要：后勤综合保障监控数据有着实时性、流速快、海量以及多维度的特征,对于监控数据的多维度检索、分析和预警都有较高的实时性要求。鉴于此,文中基于HBase设计了一种分布式监控数据实时存取系统。通过Kafka Streams进行流数据清洗解码,并利用elasticsearch构建二级索引优化查询。实验表明该系统对PB级数据多维度检索性能提高10~30倍,方案可行且高效。