摘要：随着海量图像数据的增加,使得需要处理的数据规模越来越大,为了解决在处理海量数据信息时所面临的存取容量和处理速度的问题,在深入研究MapReduce大规模数据集分布式计算模型的基础之上,本文设计了基于MapReduce实现对数字图像并行化处理。实验结果表明:运行在hadoop集群上的基于MapReduce并行化算法具有数据节点规模易扩展、处理速度快、安全性高、容易实现等特点,能够较好地满足海量数据图像的处理的要求。

摘要：基于hadoop大数据处理平台,采用主成分分析,逻辑回归等算法对LTE基站计算器性能指标:RRC连接建立成功率、E-RAB建立成功率、E-RAB掉线率、负荷、CQI高阶占比、上行PRB平均利用率、下行PRB平均利用率、PDCP层上行用户面流量、PDCP层下行用户面流量等进行统计分析处理,从而对LTE基站故障做出预测,使用户有更好的上网体验。

摘要：为预测包含电力异常大数据的信号负荷曲线的变化规律,从而实现对连续性电量信号的精准检测,提出基于时间序列预测的电力异常大数据检测方法。借助时间序列模型,确定降维预测系数的实际取值结果,通过离散化修正权限的表现强度,完成基于时间序列预测的电力异常数据修正处理。在此基础上,按照时间序列预测原则,建立hadoop预测平台,根据具体的电力大数据异常特征值计算结果,确定并行检测强度的实际数值,完成基于时间序列预测的电力异常大数据检测算法的设计。对比实验结果表明,在时间序列预测模型的作用下,电网主机所预测出的包含电力异常大数据的信号负荷曲线能够更好贴合给定曲线的变化规律,在精准检测连续性电量信号方面具有一定的促进性作用。

摘要：由于传统的Canopy-Kmeans算法在中心点的选取存在随机性,其迭代过程的冗余计算降低了算法的运行效率.文中基于＂最小最大原则＂和三角不等式原理,在hadoop平台上提出了一种基于双MapReduce改进的Canopy-Kmeans算法.实验结果表明：设计的并行算法精确率在不同大小的数据集上平均提高了15.3%,加速比和扩展性随着数据规模和节点的不断增加也相应的提高了1.5~3倍,解决了Canopy中心点选中存在的问题和迭代过程中冗余的距离计算.

摘要：随着大数据时代的发展,利用信息化技术实时监控学校图书馆的资源,以让人掌控学校图书馆情况是研究的主要目的。研究方法是通过Python爬虫技术,利用Lxml库爬取图书馆中的信息,接着将爬取出来的信息进行数据清洗,取出有效信息,放入hadoop平台进行存放,最后再利用Flask框架以及数据分析及可视化技术将信息以一种直观可视的方式展现在网页上。

摘要：为解决现有的智能变电站难以及时、有效地实现电力设备实时监测的问题,提出了一种面向智能变电站的电力设备状态监测方法。考虑到现有智能变电站电力设备数据量呈现指数增长,引入云计算运算模式,构建了基于hadoop平台的MapReduce分布式处理系统。通过采用C4.5决策树算法实现了云计算,并基于MapReduce对算法进行改进。将并行算法作为核心优化Ha⁃doop平台的并行计算模式,实现数据的并行处理。实验结果表明,文中所提出的方法能够提升数据处理效率,增加电力设备故障诊断与识别的总体准确率,有效实现智能变电站电力设备的实时监测。

摘要：大数据下基于hadoop平台构建的电商推荐系统存在着计算缓慢、无法根据用户实时行为作出推荐的问题。针对以上问题,设计和实现基于Spark平台的电商实时推荐系统。与hadoop平台构建的推荐系统相比,系统首先基于Spark平台构建了分布式日志采集模块和分布式日志数据传输模块,用于采集和传输用户隐式行为日志,解决电子商务跨系统数据源收集问题;其次在统一数据源的基础上,采用基于Spark的矩阵分解推荐模型进行离线训练,提升离线推荐训练的效率;进而在离线推荐的基础上,提出一种使用Spark Streaming实时流技术对电商日志数据做实时过滤,获取用户当前所需商品,并将离线推荐结果与实时推荐结果通过统一介质融合的方案,实现对用户隐式行为进行实时推荐反馈的功能。最后经实验证明,基于Spark平台的电商实时推荐系统相对于hadoop平台的电商推荐系统具有更高的可靠性和稳定性,能够承载大规模数据量,离线推荐训练速度相对于hadoop平台提高10倍,并且对用户的实时行为也能够作出实时推荐反馈,提升5%的交易转化率,增强电商网站的用户体验。

摘要：随着高校扩招,应届毕业生人数逐年增长,就业压力不容小觑。针对就业难的问题,进行招聘网站数据分析,挖掘出岗位所需技能,再结合学生在校时所学课程,二者对比,就能很好地给学生推荐合适的工作,并且给学校专业人才培养方案中的岗位职业定位、岗位能力分析等提供依据。岗位分析系统开发采用前后端分离思想,后端使用hadoop平台和Spark框架,前端使用Vue绑定数据,Echarts实现可视化,直观展示岗位情况相关数据,基于大数据技术的岗位分析系统能够实时获取、分析、可视化相关就业数据。

摘要：为解决大数据平台面临的安全风险,研究了大数据平台常用安全组件并进行了分析比较。重点研究了目前业界常用大数据安全组件Ranger的工作流程及架构设计。最后利用Ranger分别构建了HDFS、HBase的文件及数据库常用访问控制业务场景。研究表明采用Ranger安全组件能够为hadoop平台相关组件提供集中式安全管理、细粒度访问控制和深度审计,尤其适合授权一些临时用户的访问权限。

摘要：针对hadoop0.20.0中任务调度算法存在的不足,提出一种基于改进遗传算法(IGA)的任务调度算法。IGA算法对初始化种群、交叉和变异操作进行了一些改进,并引入了最优保留策略和加速进化策略。通过仿真实验将此算法与hadoop现有算法进行比较,实验结果表明,此算法优于hadoop现有算法,是一种有效的任务调度算法。