基于大数据平台的肺部结节随访系统优化探索

作     者：张国华 徐建军 ZHANG Guohua;XU Jianjun

作者机构：南京师范大学泰州学院江苏泰州225300 

基　　金：国家自然科学基金青年基金项目(51708265) 江苏省高校自然科学研究面上项目(19KJD520008) 南京师范大学泰州学院教学改革研究项目(2023JG12021) 

出 版 物：《软件导刊》 (Software Guide)

年 卷 期：2024年第23卷第4期

页      码：94-99页

摘      要：Hadoop是公认的行业大数据标准开源软件,因其在分布式环境下具备海量数据处理能力,目前在肺部结节随访系统中应用广泛。然而,Hadoop分布式文件系统(HDFS)在设计之初是为了解决大文件存储与计算问题,对海量数目的小文件存储与检索存在性能低下、主节点NameNode内存占用率高等问题。为此构建一种改进的HDFS数据布局存储方案HFS,通过在NameNode中加入文件处理识别模块实现小文件元数据向SecondnameNode和DataNode集群的迁移;同时设计出DataNode间数据流动的算法,有效降低了NameNode节点的处理压力。分别基于HFS和单一HDFS对肺部结节随访系统进行测试,实验结果表明在NameNode内存占有率和整体数据分析时间等方面,基于HFS的肺部结节随访系统具备明显优势。

主 题 词：HFS Hadoop 肺部结节随访系统 大数据 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.11907/rjdk.231259

馆 藏 号：203127759...