无人船测试多源数据HDFS存储优化

作     者：吴永旺 饶银辉 庄伟涛 子文江 杨捍东 余蓉 洪晓斌 WU Yongwang;RAO Yinhui;ZHUANG Weitao;ZI Wenjiang;YANG Handong;YU Rong;HONG Xiaobin

作者机构：华南理工大学机械与汽车工程学院广东广州510640 广船国际有限公司广东广州511462 

基　　金：广东省科技计划项目(2019B151502057) 广东省自然资源厅科技项目(GDoEA13) 广州市科技计划项目(201902010024) 

出 版 物：《中国测试》 (China Measurement & Test)

年 卷 期：2022年第48卷第5期

页      码：123-127页

摘      要：针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据HDFS存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据HDFS存储;最后对无人船测试多源数据进行HDFS存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。

主 题 词：无人船 Hadoop HDFS 

学科分类：080202[080202] 08[工学] 080402[080402] 0804[工学-材料学] 0802[工学-机械学] 

D　O　I：10.11857/j.issn.1674-5124.2020120104

馆 藏 号：203111917...