基于HBase和Hive的航班延误平台的存储方法

作     者：吴仁彪 刘超 屈景怡 WU Renbiao;LIU Chao;QU Jingyi

作者机构：中国民航大学天津市智能信号与图像处理重点实验室天津300300 

基　　金：国家自然科学基金资助项目(11402294) 天津市智能信号与图像处理重点实验室开放基金资助项目(2017ASP-TJ01)~~ 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2018年第38卷第5期

页      码：1339-1345页

摘      要：针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。

主 题 词：大数据平台 航班延误 HBase Hive SolrCloud LeafLet 

学科分类：08[工学] 0835[0835] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2017102475

馆 藏 号：203289018...