航空货运中海量小文件的存储优化

作     者：李国 李汶晓 徐俊洁 LI Guo;LI Wen-xiao;XU Jun-jie

作者机构：中国民航大学计算机科学与技术学院天津300300 

基　　金：中国民航大学中央高校基金项目(31220106A001) 民航科技重大专项基金项目(MHRD20140106 MHRD20160109) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2018年第39卷第5期

页      码：1484-1489页

摘      要：针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制。实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持。

主 题 词：航空货运数据交换平台 Hadoop分布式文件系统 海量小文件 网页排序算法 预取缓存 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2018.05.049

馆 藏 号：203288963...