摘要：为解决人们“每天不知道吃什么”的烦恼,采用Spark分布式处理框架,结合分布式存储数据库(MongoDB)、日志收集系统(Flume)、分布式系统文件(hdfs)等工具,实现对菜品实时评分及特色化推荐。系统包含菜品评分及储存模块、评分数据处理模块、菜品推荐模块、推荐结果展示模块等,其中推荐模块采用协同过滤推荐算法。使用测评方法和指标验证3种推荐模型的有效性,根据测评结果设计并实现以基于物品的推荐模型为主、以基于Spark ALS的推荐模型为辅的智能菜品推荐系统。该系统能够快速准确地推荐顾客喜欢的菜品,提高了商家的服务效率和顾客的满意度,可用性较高。

摘要：针对无人船测试过程中数据量大、数据源多、数据记录分散等问题,提出一种面向无人船测试的多源数据hdfs存储优化方法。首先设计基于Hadoop的无人船测试云平台架构,分析无人船测试云平台的信息流;接着提出无人船测试多源数据容错机制及重复数据删除策略,优化无人船测试多源数据hdfs存储;最后对无人船测试多源数据进行hdfs存储实验。结果表明,Hadoop集群优化后比默认系统存储效率提升约20%,可满足无人船测试多源数据的存储需求。

摘要：柴油机是船舶推进系统的重要组成部分,随着柴油机技术的不断发展,对柴油机相关参数进行监测并分析是必然发展趋势。柴油机的故障监测需要依赖大量的柴油机监测数据,而嵌入式处理器无法实现大量监测数据的实时采集和分析。本文提出一种基于Hadoop技术的船舶柴油机大数据处理平台,对Hadoop技术的hdfs和MapReduce的实现原理进行详细分析。在此基础上设计系统的整体结构框图,并对多文件的写入速度和数据排序进行测试。本文基于Hadoop技术的船舶柴油机大数据平台可以满足船舶柴油机数据的存储和分析需求,并且具有较高的可靠性和扩展性。

摘要：为了解决分布式云计算存储的数据窃取检测中,出现数据量大、内部窃取难以检测的问题,以hadoop分布式文件系统(hdfs, hadoop distributed file system)为检测对象,提出了一种基于MapReduce的数据窃取随机检测算法。分析hdfs文件夹复制产生的MAC时间戳特性,确立复制行为的检测与度量方法,确保能够检测包括内部窃取的所有窃取模式。设计适合于MapReduce任意的任务划分,同时记录hdfs层次关系的输入数据集,实现海量时间戳数据的高效分析。实验结果表明,该算法能够通过分段检测策略很好地控制漏检率和误检文件夹数量,并且具有较高的执行效率和良好的可扩展性。

摘要：SOH(SQL over hdfs)系统通常将数据存储于分布式文件系统hdfs(Hadoop distributed file system)中,采用Map/Reduce或分布式查询引擎来处理查询任务.得益于hdfs以及Map/Reduce的容错能力和可扩展性,SOH系统可以很好地应对数据规模的飞速增长,完成分析型查询处理.然而,在处理选择型查询或交互式查询时,这类系统暴露出了性能上的缺陷.提出一种通用的索引技术,可以应用于SOH系统中,以提高其查询处理的效率.分析了SOH系统访问hdfs文件的过程,指出了其中影响数据加载时间的关键因素.提出了split层和split内部双层索引机制;设计并实现了聚集索引和非聚集索引;最后,在标准数据集上进行了大量实验,并与现有基于hdfs的索引技术进行了比较.实验结果表明,所提出的索引技术可以有效地提高查询处理的效率.

摘要：集群文件系统作为一种典型的分布式文件系统类型,通过集群内多个节点的协同,消除了单点故障以及性能瓶颈问题,实现了高可用、高性能以及动态负载均衡,并且具有较高的可扩展性,因此常作为实现和提供云存储服务的关键技术之一.该文针对hdfs集群主要局限于同一数据中心内部部署且可扩展性受限的问题,提出一种跨数据中心集群部署的文件资源调度机制和金蝶分布式文件服务KDFS,通过分布式架构再设计,支持多个hdfs集群动态组网协同工作;通过引入文件资源池,屏蔽了不同集群之间的文件差异性,能够面向多应用提供透明服务;通过引入弹性存储与最优存储策略,确保集群资源安全冗余与就近服务的同时提升了集群的存储效率.实验和实践证明,跨hdfs集群的文件资源调度机制不但解决了hdfs集群可扩展性受限的问题,同时通过跨数据中心部署,实现了集群文件异地冗余灾备、跨数据中心负载均衡以及文件就近存取服务,有效地提高了应用使用KDFS存储服务的体验.

摘要：为了有效提高非结构化数据处理的效率,本研究围绕MapReduce框架、Hadoop分布式文件系统(Hadoop Distributed File System,hdfs)、Hadoop数据库(Hadoop Database,HBase)技术展开了深入研究,并在此基础上设计并实现了一个非结构化数据处理系统,针对系统的小文件存储性能优化和HBase数据存储优化提出了相应的解决方案,极大地改善了非结构化数据的处理效率,为相关领域研究提供了一定的参考价值。

摘要：该文针对传统煤矿安全预警存在数据获取精准度差、数据融合能力低、无法完成数据深度挖掘的问题,设计了一种基于大数据的煤矿安全预警云平台框架,云平台将上传的数据进行分类、处理、存储,改进了hdfs系统的传统存储策略,并使用大数据技术对数据进行处理,实现对煤矿的安全预警,使矿山生产效率明显提升,安全关口前移。

摘要：云存储目前已被广泛地应用于多个领域。通过数据的远程存储与备份,用户可远程随处办公。Hadoop作为分布式文件系统具有高扩展性、高吞吐量和存储海量数据等特性。文章提出了一种基于Hadoop存储平台的云盘系统的设计思路,研究利用hdfs作为云盘存储平台的可行性,搭建了以SpringBoot框架为基础的后台服务器并对接Hadoop集群系统,解决云盘系统在存储性能上、存储安全性上所遇到的问题,为同类系统的开发提供了重要参考。

摘要：针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题,综合应用MapReduce、Hive、Sqoop等大数据技术,结合Scrapy数据采集框架,设计一种数据分析处理平台,利用SpringBoot及Vue技术搭建Web系统,实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理,得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果,分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。