摘要：自动化设备在工业应用中已经得到了大规模的普及,随之而来的设备安全问题也越来越多,为了能够及时发现和排查设备故障,本文设计了一个基于hadoop的自动化设备监管系统,采用分布式文件存储系统(hadoop distributed file system,HDFS)构建了大规模设备监测数据存储平台,通过分布式计算系统实现了规模数据的并行处理,有效提高了自动化设备监测系统的数据处理效率和系统可靠性。

摘要：为了解决店坪煤矿自动化监测平台目前出现的数据杂乱难集中、难处理、难维护、信息孤岛等的问题,在现有监测平台技术基础上,结合大数据技术,设计一款设备状态hadoop平台,对平台先进行整体结构设计,对4大组成系统进行设计,包括数据采集、数据提取、数据传输以及数据存储,实现了海量数据的有序化存储。

摘要：针对当前存在“傀儡机”利用DDoS攻击发送虚假信息,从而占用用户带宽并进行分布式拒绝服务攻击的问题,该文设计了基于hadoop集群的分布式入侵检测系统架构。该系统对传统检测进行改进,可精简并融合大量多源数据,随后通过自适应调整阈值实现统一分析与管理的目标。结果表明,该系统具有较强的扩展性与分布性,可以通过扩展集群规模以及调大HDFS的“块”信息来提升检测性能。与传统检测相比,该系统能够从海量数据中快速挖掘高价值信息,还可以有效提高DDoS攻击的检测率。

摘要：针对人脸识别算法研究过程中测试效率低下的问题,基于分布式技术,设计并实现了通用的分布式大数据测试平台。为了提高人脸识别算法的大数据测试的执行效率,提高测试结果统计计算的执行效率,基于RabbitMQ设计分布式并行执行架构,利用hadoop集群的MapReduce框架进行分布式并行计算。利用Java语言的Spring框架开发测试平台,将测试代码与测试图片托管于hadoop集群的HDFS文件系统,实现了测试业务与测试平台的分离,提高了平台的通用性。该测试平台不仅实现了单个测试任务的分布式执行而且满足多个测试任务同时执行,可对测试任务以及测试相关的代码与数据进行有效的管理。与传统测试方法相比,该平台测试效率提高10余倍,测试图片的数量越大测试效率提升越明显。该测试平台具有业务通用性、容量可扩展性,对于其他人工智能算法的大量数据测试具有借鉴意义与参考价值。

摘要：流量异常主要是指网络中的流量发生着不规则的明显变化。尤其是由于网络的脆弱性、保密协议的缺陷和隐藏的网络漏洞,给金融、教育和军事等领域造成了不同程度的损失。且在具体的解决过程中,有关分布式的异常检测研究催生了新的思路和新的解决方法。针对网络中的流量异常现象,本文基于hadoop技术设计实现流量异常分布式检测系统架构。作为解决流量异常的方法,本文在设计中提出了一些新的思路,以期为解决互联网安全问题提供指导,并对未来研究方向提出展望。

摘要：为了提高用户获取图书的效率、优化阅读体验,文中对基于用户行为与内容的相关推荐算法进行了研究,引入hadoop大数据处理框架,设计并实现了一款在线图书推荐系统。该系统基于软件工程的理论进行设计,通过梳理图书推荐流程设计了相关的功能模块,从系统的可扩展性角度出发,分层次设计了系统的软件架构。对常用的推荐算法进行了研究,构建用户行为特征与图书特征库,在使用协同过滤推荐时,使用向量的余弦值衡量二者的近似度。在系统实现上,使用hadoop中的HDFS分布式文件系统进行特征库的部署与用户日志文件的存储,通过引入7个计算集群与MapReduce编程模式,实现了890 s内一次性5000本图书的推荐。采用J2EE技术对系统进行了实现,运行测试结果表明,系统运行稳定,可以满足推荐系统的准确性与可靠性要求。

摘要：为实现大规模栅格数据的高性能分布式处理,在最新开源项目hadoop基础上,设计与开发了一个基于MapReduce计算模型的栅格数据分布式计算系统,重点探讨该系统的栅格数据HDFS分布式存储、高效Map并行处理及结果Reduce合并等关键技术;基于上述技术实现了对大规模栅格数据分布式计算原型系统,详细介绍系统组成,并进一步将其应用于处理全国范围90m地形数据.结果表明:分布式计算方法通过连接多计算节点,有效地提高了栅格数据计算效率,提高地学栅格数据的分析计算能力,从而解决地学相关模拟计算的性能瓶颈.

摘要：利用大数据技术软件,结合三维设计软件平台,采用VC++及Win7操作系统开发压铸模快速设计系统,以国产航空航天飞机上陀螺仪支架为例,介绍了该系统引导下,进行压铸模快速设计的基本流程。新的压铸模快速设计系统不仅能较大幅度提高复杂压铸模设计效率,还具有自主学习功能,对优化铸件产品结构以及复杂镁合金压铸模设计有较大参考价值。

摘要：鉴于当前的数据治理管控方法缺乏统一标准约束,治理管控效果比较差,故此设计一种基于hadoop与Spark大数据平台的数据治理管控方法。使用Apache Atlas元数据管理工具,配合hadoop与Spark平台完成管理工具的伸缩和扩展,实现元数据管理,利用hadoop与Spark大数据平台中自带的分布式文件系统GFS的结构,内置的大量块服务器与客户端功能使用的过程中进行交互,搭建并行计算框架,数据治理过程主要针对数据的一致性、完整性和实时性三个方面进行治理过程设计。方法性能测试结果表明:使用设计的数据治理管控方法,企业的运营数据一致性、完整性、实时性分别为97.5%、97.7%、95.4%,由此可以看出数据质量存在提升。

摘要：每所高校校园网内成百上千的网站每天产生的Web访问日志量级都以千万计.利用大数据技术对这些海量、实时的数据进行集中搜集和长期存储,并通过后期大数据分析来挖掘这些日志的价值,无论从管理运维角度,还是从信息安全视角都具有实际意义.本文以上海交通大学为例,介绍了利用hadoop大数据平台,存储并分析校园网内数千网站日志的系统设计和实现.