摘要：柴油机是船舶推进系统的重要组成部分,随着柴油机技术的不断发展,对柴油机相关参数进行监测并分析是必然发展趋势。柴油机的故障监测需要依赖大量的柴油机监测数据,而嵌入式处理器无法实现大量监测数据的实时采集和分析。本文提出一种基于hadoop技术的船舶柴油机大数据处理平台,对hadoop技术的HDFS和MapReduce的实现原理进行详细分析。在此基础上设计系统的整体结构框图,并对多文件的写入速度和数据排序进行测试。本文基于hadoop技术的船舶柴油机大数据平台可以满足船舶柴油机数据的存储和分析需求,并且具有较高的可靠性和扩展性。

摘要：在开源分布式计算框架hadoop的基础上,选择大凌河流域为研究区,构建降雨侵蚀力、土壤可侵蚀性、坡长等土壤侵蚀因子栅格数据分布式存储策略,利用MapReduce编程模式设计实现通用水土流失方程RUSLE的算法程序进行土壤侵蚀强度计算,并扩展Geoserver的栅格文件读取功能,增大对HDFS栅格文件的读取支持,实现土壤侵蚀强度计算结果的快速发布。结果表明,该系统可实现大数据量、高分辨率土壤侵蚀因子栅格数据的区域土壤侵蚀强度快速计算,可较好满足区域土壤侵蚀预测预报的时效性要求;程序运行过程中计算任务本地化效果明显,显著降低了计算过程中的网络传输压力,网络使用率约22%,且系统性能可通过增加计算节点进一步提升。本研究可为大数据量、高分辨率栅格数据下区域土壤侵蚀强度计算及发布GIS设计开发提供指导,为大凌河流域土壤侵蚀监测提供科学依据。

摘要：为了给计算机专业的教学提供辅助工具,文章利用hadoop架构,从硬件、数据库和软件方面,优化和设计计算机专业课程教学平台。根据计算机专业课程教学的数据组成以及相关实体之间的逻辑结构,构建平台数据库;部署hadoop集群架构,通过用户分类与授权控制、课程教学资源检索与共享、教学任务执行以及教学考核等步骤,实现计算机专业课程教学平台软件功能的设计。通过平台测试实验,得出结论:优化设计课程教学平台的平均功能运行成功率为99.85%,平均响应时间和服务器内存占用量均低于预设值。

摘要：分析了hadoop云计算平台的安全需求,设计了一种基于身份的Capability(ID-CAP),并提出了一种基于IDCAP的hadoop访问控制方案。方案设计采用了最小授权原则,实现了基于Capability的访问控制,使用户在hadoop平台上提交的作业能以最小权限运行。实验结果表明:基于Capability的访问控制机制能有效实现在hadoop平台上实施最小授权原则,支持平台内部相互依赖的各模块之间的身份认证,有效提高hadoop平台的系统安全性和稳定性。

摘要：为快速、准确地进行海量数据的分析,助力服务升级和行业发展,本文通过对用户网络行为的数据进行研究,设计了一种基于hadoop平台的用户行为分析系统,以便从海量数据中挖掘出有效数据并形成智能推荐功能,为相关系统的设计提供参考。

摘要：科技技术水平的不断提升,迎来了信息化时代,各高校也逐渐加大信息化系统建设力度,实现了现代化与智能化发展。当前,较多高校借助hadoop分布式系统基础架构,进行图书馆云平台设计,获得较为统一的数据运营及管理模式。不过高校图书馆云平台设计专业性较强,相对复杂,若想获得较高的设计水平,仍需加大探究力度。基于此,本文重点针对hadoop分布式系统基础架构下的高校图书馆云平台设计进行研究,以供参考。

摘要：为实现对蛋鸡生产过程中长期积累的海量数据进行高效存储和实时查询,利用hadoop生态系统,设计了规模化蛋鸡设施养殖智能监测管理系统。针对环境数据的实时监测及大规模数据查询,用My SQL数据库存储近期数据、HBase存储历史数据,有效提升了检索速度;针对海量异构视频数据的统一管理,设计实现了基于MapReduce并行处理框架的分布式转码模块,将1.5 GB的视频分割为多个128 MB分段后进行转码,转码效率提高了50%。该系统实现了规模化蛋鸡场生产养殖中对实时信息、历史信息、基础设施信息、生产过程信息的统一管理,并提供了统计分析模块对采集获取的数据进行整合分析,开发了Web端网页版本及移动端APP版本的智能监测管理系统,便于用户进行实时访问,提高了生产养殖的工作效率。

摘要：针对海量气象数据在传统Web GIS平台下存储和分析计算受到限制的问题,提出基于hadoop的分布式计算和存储框架,使用了hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面,使用MapReduce作为分布式计算编程模型,该模型通过分析海量气候数据可对农业生产进行决策。最后,利用地理信息系统空间可视化技术,在前端页面以三维形式对分析结果进行展示,并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明,使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率,解决了传统Web GIS平台数据存储与计算的局限性问题。

摘要：近年来,随着我国网络信息技术的快速发展,个性化推荐系统的应用范围也越来越广,为人们的工作和生活也带来了很多的便捷。许多公司都开始在网上发布招聘信息,人们也在网络上发布各种各样的求职信息,招聘求职的信息出现了大幅度增长,单一的岗位搜索功能已经没有办法满足招聘公司和求职者多元化的需求。该文对于岗位平台推荐系统进行深入分析,针对传统职位推荐系统中存在的问题,引入全新的过滤推荐技术,设计出个性化岗位推荐系统,以供借鉴。

摘要：hadoop集群广泛应用于企业和研究机构的大数据处理和并行计算中。该文针对hadoop集群节点管理中缺少动态负载均衡和节能相互结合的调度技术的现状,提出一种动态负反馈调整算法,并设计和实现了一个用于hadoop平台节点动态管理的系统。通过大量hadoop经典测试用例测试,结果表明：该算法能够有效提高负载均衡并通过减少节点的空闲时间以有效地节能,与未使用本算法的结果相比,节点平均空闲休眠时间增加25%,节能14%。同时通过与其他算法相比,节点间均衡度有一定程度提升,平均负载方差减少10%。