基于Elasticsearch的HBase海量数据二级索引方案

作     者：郭雪峰 GUO Xue-feng

作者机构：公安部第三研究所网络安全技术研发中心 

出 版 物：《电脑知识与技术》 (Computer Knowledge and Technology)

年 卷 期：2020年第16卷第1期

页      码：5-7页

摘      要：针对HBase不提供二级索引、自带Coprocessor(协作器)不稳定及海量数据检索速度较慢等问题,设计了一种新的基于Elasticsearch的HBase二级索引方案ELHBase(Elasticsearch Indexing HBase)。该方案借助Flume、Kafka、HBase及Elastic⁃search搭建了一套数据采集、高速解析和录入大数据处理框架,使用Flume自定义Sink采集数据同时生成相应ID存入到Kafka,通过解析技术分别把数据存储到HBase,相应ID作为索引存储到ElasticSearch。该方案在不利用Coprocessor的基础上增加了直接查询ElasticSearch的接口,利用ElasticSearch提供的高效、灵活、多样的检索功能实现对HBase海量数据的快速检索,协同解决了HBase数据索引性能不高、协作器不稳定、ElasticSearch不适合大量数据存储等问题。最后,分别与SI⁃HBase、hindex进行了二级索引性能对比实验,证明了该方案在写入性能上较SIHBase更快、更稳定,查询速度上要远快于hindex。

主 题 词：海量数据 二级索引 ELHBase 自定义Sink 快速检索 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.14004/j.cnki.ckt.2020.0002

馆 藏 号：203880868...