摘要：为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用hadoop分布式架构的运行成本低、容错性高等优势,应用hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。根据系统功能列表,依次设计文件上传、文件下载、文件浏览、其他操作等模块。在hadoop分布式架构的应用背景下,文章中所设计的云存储系统具有内存开销率低、集群读取效率高、安全可靠等优点,符合预期设计标准和要求。

摘要：随着互联网的普及和人们不断增长的消费需求,电子商务平台已成为人们生活不可或缺的一部分,由此产生大量数据。基于hadoop,设计并实现一个离线电商数据分析系统,从系统架构、数据采集、传输、存储、分析处理和可视化等方面作了介绍,系统具有一定的数据分析能力,能将原本无用的数据进行整理利用,发挥数据本身的价值。

摘要：随着互联网的发展,网上招聘方式日益普及。但当求职者面对海量招聘信息,对不同维度的信息进行综合分析时会变得异常繁杂。鉴于此,文章设计了基于hadoop的智慧工作岗位分析大数据平台,为用户提供岗位数据整合、归档、检索、浏览和分析挖掘服务。该平台以大数据分析技术为核心,利用Python编程爬取Web页面数据,利用Flume对数据进行聚合和日志采集,采用Kafka对数据进行缓冲,使用Spark对实时数据进行计算,利用MapReduce对清洗后的数据进行运算,最后利用数据大屏对数据进行可视化展示。

摘要：为了确保高校教学质量评估的客观性、系统性和全面性,提出利用大数据全面服务教育评估,并基于hadoop构建评测系统,在hadoop分布式架构基础上,提出利用分布式算法对高校教学质量各方面进行评估。评测系统主要从学校管理质量、教师教学过程、学生的学习行为以及学业质量等4个方面对高校教学质量进行评估,自下而上划分为数据访问层、业务逻辑层和表示层,各功能子系统均采用模块化设计;针对不同大数据的特点,提出利用主成分分析法对学校管理质量大数据进行评估,采用分布式算法对教师教学过程、学生学习行为和学业质量进行评估;当数据量较小时传统单机算法运行效率较高,当数据量较大(大数据样本)时分布式算法的运行时间明显少于单机算法,且随着数据量的增大,运行效率优势越明显。

摘要：为了提高跨社交网络局部时序链路预测的精度和平稳性,提出了基于hadoop的跨社交网络局部时序链路预测算法。该算法选取了6种跨社交网络节点相似性指标,采用hadoop的核心组件MapReduce设计了一种并行运算模型,分割处理跨社交网络内的海量并行数据,降低了运算复杂度。运用基于MapReduce并行运算模型的局部时序链路预测算法和所选取的节点相似性指标,获得网络内点对间的预测分数值,实现了跨社交网络局部时序链路预测。实验结果表明,本文算法的预测精度较高,且能够保持平稳的预测状态,具有较好的综合预测性能。

摘要：hadoop是公认的行业大数据标准开源软件,因其在分布式环境下具备海量数据处理能力,目前在肺部结节随访系统中应用广泛。然而,hadoop分布式文件系统(HDFS)在设计之初是为了解决大文件存储与计算问题,对海量数目的小文件存储与检索存在性能低下、主节点NameNode内存占用率高等问题。为此构建一种改进的HDFS数据布局存储方案HFS,通过在NameNode中加入文件处理识别模块实现小文件元数据向SecondnameNode和DataNode集群的迁移;同时设计出DataNode间数据流动的算法,有效降低了NameNode节点的处理压力。分别基于HFS和单一HDFS对肺部结节随访系统进行测试,实验结果表明在NameNode内存占有率和整体数据分析时间等方面,基于HFS的肺部结节随访系统具备明显优势。

摘要：文中针对庞杂的农产品市场价格信息,设计了基于指数平滑的农产品价格大数据平台,通过构建hadoop、Hive和Spark大数据框架,在Spark-SQL内完成了农产品价格信息的数据清洗工作;并利用改进的指数平滑法模型,实现了农产品价格预测功能;借助SpringMVC、Ajax、Echarts等技术实现了农产品价格数据统计、分析、预测等功能的图形化显示。数据平台的应用在帮助用户直观准确地获取农产品价格信息、分析农产品价格发展趋势、预判农产品的市场前景、规划农业种植等方面均具有较为重要的参考价值和现实意义。

摘要：油气生产过程中产生了大量实时数据,逐年积累形成海量的历史数据,而这些海量数据的价值未能得到充分挖掘。为了充分挖掘这些信息,文章设计了油气生产物联网与大数据技术融合系统。该系统架构将分布式存储、分布式计算和数据智能分析等技术,应用在油气生产过程的数字孪生、注水系统智能化和油井工况实时诊断等。大港某油田的应用表明,设计系统的实际效果良好。

摘要：随着各类社交平台规模的扩大,网络舆情对在校学生的影响也越来越大。而传统舆情数据分析系统仅能对少量舆情数据进行分析,无法快速、准确地处理当前海量的舆情数据。针对这一问题,文中通过对舆情数据进行特征识别,设计了一套基于hadoop架构的网络舆情数据分析系统。在该系统中,通过将CNN与BiLSTM加以融合来实现对舆情数据的分类识别,进而解决了单一算法无法获取文本上下文含义的问题。同时,该设计还将算法部署在hadoop并行计算集群中,从而有效增加了数据的训练速度。实验结果表明,所提方法在所有对比算法中性能最优,且显著提升了算法的迭代速度,并可有效解决传统算法无法处理海量文本数据的缺陷。

摘要：为高效存储管理水利地理空间大数据,本文提出一种基于hadoop和Spark的分布式存储与计算架构,同时合理运用Spark的内存与缓存机制,设计实现了针对空间大数据的分布式存储与计算方法。利用某水电站库区DEM数据进行库容计算分析,验证了本文所提出的分布式存储和计算方法具有更高的计算效率,,并具有良好的可扩展性。