基于ElasticSearch的大日志实时搜索的软件集成方案研究

作     者：白俊 郭贺彬 BAI Jun;GUO He-bin

作者机构：北京京北职业技术学院机电工程系北京101400 

基　　金：国家自然科学基金项目(60973011) 

出 版 物：《吉林师范大学学报（自然科学版）》 (Journal of Jilin Normal University:Natural Science Edition)

年 卷 期：2014年第35卷第1期

页      码：85-87页

摘      要：现代企业每天生成很多日志文件,如果能实时处理日志数据,企业能获取更大的商业价值,但管理这个大日志数据是一个巨大的挑战,因为传统的技术用来处理庞大的数据不够高效.Hadoop生态系统提供一种新的方式来处理大数据,ElasticSearch技术是基于云环境的实时搜索引擎.本文提出了基于ElasticSearch实时进行大日志数据搜索的软件集成方案,采用基于硬件创建虚拟机环境,根据搜索条件使用ElasticSearch得到需要的rowkey列表,Hbase用这些rowkey直接从数据库中得到数据.实验证明,随着日志事件搜索量的增加,搜索反应时间不线性增加,基于ElasticSearch的大日志实时搜索的软件集成方案设计具有可行性.

主 题 词：ElasticSearch 大数据 Hbase 实时搜索 软件集成方案 

学科分类：08[工学] 0812[工学-测绘类] 

D　O　I：10.16862/j.cnki.issn1674-3873.2014.01.023

馆 藏 号：203473833...