摘要：综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象其共性;随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法,将这些算法按照MapReduce实现方式分类,分析影响算法性能的因素;最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和问题,以供研究人员参考.具体包括优化外存算法的磁盘I/O、优化外存算法的局部性以及设计增量式迭代算法.现有的大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,所提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间.

摘要：在信息化管理过程中,大数据处理属于一种创新高效的技术手段,为了分析大数据处理在高校图书馆信息化管理中的应用措施,文章对高校图书馆信息化管理中应用大数据处理的作用和意义展开了探究。

摘要：随着新一代信息技术和航空业的发展,空管运行产生的业务数据呈爆炸性增长。通过梳理空管运行面临的业务需求及产生的数据体量、类别,结合国内外民航空管领域大数据技术的应用现状,依托现有开源成熟的大数据存储和处理技术,对空管大数据处理平台架构进行研究。规划大数据处理平台的层次架构,并分别对大数据处理基础平台的名称节点、数据节点进行功能设计;针对大数据平台数据批处理计算、流处理计算等计算需求进行研究,针对不同的数据处理方式,提供具体的计算处理引擎。对空管大数据处理平台架构进行了应用分析,验证了平台架构的可行性,为智慧空管的建设提供了平台技术支持。

摘要：文章引入时间—效用函数表述任务完成时间与收益的关系,从而准确刻画不同类型大数据处理任务的需求。为最大化系统效用,设计了优先关系调度机制,确定资源分配。模拟实验表明,提出的优先关系调度机制比公平调度机制的效用提升超过50%。

摘要：本文阐述了物联网大数据当前的相撞和所处水平,存在某些问题,包括物联网在设计时其本身存在的一些问题缺陷,缺乏与实际情况的结合缺乏监管等等,我们提出了相应的改进方法,让物联网大数据时代更加前进一步。

摘要：针对传统抽取、转换、装载(ETL)架构在数据处理过程控制方面和数据产品开发效率方面的不足,提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具--Datastage的工作原理和ETL过程的特点,设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时,以配置文件的方式开发,使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具,在对数据处理过程(E、T、L)的控制方面得到了改进,同时也可以使数据开发人员从大量重复的操作中解脱出来,将更多的精力放在数据的逻辑处理方面。

摘要：鉴于当前的数据治理管控方法缺乏统一标准约束,治理管控效果比较差,故此设计一种基于Hadoop与Spark大数据平台的数据治理管控方法。使用Apache Atlas元数据管理工具,配合Hadoop与Spark平台完成管理工具的伸缩和扩展,实现元数据管理,利用Hadoop与Spark大数据平台中自带的分布式文件系统GFS的结构,内置的大量块服务器与客户端功能使用的过程中进行交互,搭建并行计算框架,数据治理过程主要针对数据的一致性、完整性和实时性三个方面进行治理过程设计。方法性能测试结果表明:使用设计的数据治理管控方法,企业的运营数据一致性、完整性、实时性分别为97.5%、97.7%、95.4%,由此可以看出数据质量存在提升。

摘要：针对大数据处理中存在的优化问题,提出一种基于凸和非凸优化低秩矩估计的大数据处理算法,并利用物联网采集与感知的大数据进行算法的实验验证与对比分析。在简单描述凸优化、非凸优化和低秩矩阵优化基础上,设计了基于凸和非凸优化低秩矩估计的大数据处理算法,并对算法收敛性进行了分析;然后利用物联网感知设备,进行数据感知与采集,然后利用所设计的算法进行对比实验。通过实验表明,本文算法在训练时和测试时,在归一化平均绝对误差和运行时间上,具有较好的结果。

摘要：基于现代农业高效,环保的要求,无人机大面积喷洒已成为农业植保的重点发展方向.为解决植保机大面积粗放喷洒作业中施药不精准、不环保,现设计基于大数据处理的精准喷洒系统.根据光谱和雷达系统获取实时数据,经过计算机对数据分块处理后,由两级调节喷洒系统进行喷洒农药.

摘要：安全是民航领域的第一准则,随着新一代信息技术和机场行业的发展,机场运行产生的业务数据呈爆炸性增长,论文依托大数据存储和处理技术,构建机场应急救援大数据处理平台,能更有效支撑现场指挥,智能决策,遇案推演,趋势预测,舆情监控等各项救援行动需求。通过结合目前国内外民航机场应急救援领域大数据技术的应用现状,梳理机场应急救援需求及数据类别,设计并搭建机场应急救援大数据处理平台整体架构;对大数据处理基础对的名称节点、数据节点进行功能设计,并对大数据平台数据批处理计算、流处理计算等计算需求进行研究,提供具体的处理引擎;分析表明研究成果有助于提高我国民航机场安全运行效率,为民航机场应急救援大数据处理平台提供支撑。