摘要：针对hadoop平台安全漏洞问题,通过分析hadoop平台的安全现状,提出尚存的安全隐患,并对此安全隐患设计实现相关的加固方案。通过集成hadoop认证系统与高可用的企业身份管理系统,实现由企业安全系统统一管理用户及权限信息,从而有效提高认证效率。同时启用字段级访问控制策略,提升用户对数据管理的灵活性。建立基于集群资源的健康评价体系,对集群的健康状态进行把控,为整个hadoop集群的安全运行提供保障。实验结果验证了该方案的可行性与有效性。

摘要：为解决采用传统方法进行交通流分配时难以保证交通流均衡性的问题,基于hadoop大数据计算平台,设计并实现了一种实时多路径交通流分配算法。当需要进行交通流分配的OD对之间存在多条阻抗最小路径时,该算法首先能够搜索到给定OD对的所有阻抗最小路径集合,然后将该OD对的交通流均匀分配到搜索到的路径集合上,从而实现交通流的均衡分配,避免各个路段实际交通量超过其流量阈值,有效预防后继拥堵的发生,最后对基于hadoop平台的实时多路径交通流分配算法进行了仿真试验。结果表明:仿真路网中各路段在各个时刻的交通量均值相对于传统方法平均减少了42.3%,交通量方差相对于传统方法平均减少了35.8%,交通量最大值相对于传统方法平均减少了19.4%。

摘要：为提高企业网络内海量日志数据的分析效率,构建基于hadoop平台的日志分析模型。对模型框架进行总体设计,提出一种MapReduce编程模式的Apriori并行化算法,基于该算法对历史日志进行数据挖掘分析,计算用户行为的频繁模式,建立用户正常行为规则库,将实时日志与规则库中的规则进行模式匹配,实现对用户异常行为的检测。实验结果表明,该模型算法明显提高了日志分析效率。

摘要：人们日常生活中通过计算机或手机等获取数据信息,且数据量与日俱增。在庞大的数据库中准确获取信息是目前计算机领域研究的热点。Apriori算法的计算过程并不完善,并且存在一定缺陷。针对Apiori算法效率低、复杂的缺点,提出了基于hadoop平台实现Apriori算法的优化设计,改进了Apriori算法,并在hadoop平台上测试了改进后的Apriori算法。结果证明,基于hadoop平台改进的Apriori算法具有较高的执行效率。

摘要：针对现有聚类方法对数据处理规模的局限性,解决数据聚类效果差的问题,在hadoop平台的支持下提出基于优化X-means算法的大数据聚类方法;利用hadoop平台架构与函数采集大数据样本,通过缺失补偿、噪声滤波、归一化等步骤,实现初始样本数据的预处理;选择大数据聚类中心,分别提取聚类中心数据与其他所有数据样本的特征,计算数据样本与聚类中心之间的特征相似度;以相似度度量结果为聚类判定条件,利用优化X-means算法确定数据所属类型,最终实现大数据的聚类处理工作;通过聚类效果测试实验得出结论:在有、无两种实验条件下,与传统聚类方法相比,优化设计方法的查全率和查准率分别提升了4.75%和4.5%,同时优化聚类方法得出数据具有更高利用率。

摘要：针对当前学生择业难而学校人才培养无法满足当前社会实际需求的问题,提出基于hadoop平台的大数据就业岗位推荐系统。该系统利用爬虫技术爬取互联网招聘网站上的海量岗位信息,并对岗位信息进行整理、清洗、分析,HBase作为数据存储,将数据制作成图表,给用户直观体验;根据用户提供的用户技能为用户筛选出合适的岗位,实现岗位的精确推荐。

摘要：基于hadoop平台以字符识别为例建立图像识别系统。所设计的系统在借鉴云平台高扩展性以及高效性等优势的基础上,有效地解决了传统字符识别系统在计算效率以及数据处理方面所存在的不足。通过实例验证了基于hadoop平台进行图像识别相比单机图像识别系统具有更高的效率:在仅具有2个节点的hadoop图像识别平台上进行字符图像的识别时,由于节点数较少,在2台计算机中消耗的数据交换时间使得hadoop图像识别平台进行图像识别的总时间甚至超过了单台计算机所使用的时间,而在具有4个节点、6个节点和8个节点的hadoop图像识别平台上,处理相同图像所使用的时间随着节点数量增多而降低。

摘要：针对煤炭销售数据量大而信息量少的问题,开发了基于hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。

摘要：伴随教学方式的改革,高校教学资源逐渐增多,有效管理教学资源是目前各大高校关注的核心问题。为此,设计与实现一种基于hadoop平台的大学多媒体教学管理系统。教师、学生等用户在系统用户层输入身份信息登录系统便可进入业务逻辑层,用户在系统业务逻辑层点击自己所需程序,查询教学资源,业务逻辑层将用户指令传输至系统数据层,数据层应用基于粒子群的教学资源推荐算法,获取与用户查询内容最相符的教学资源提供给用户,实现大学教学资源的有效管理。将该系统应用于某大学会计专业多媒体教学教室后,学生与教师对该系统应用效果较为满意,系统可按照学生不同需求将不同阶段会计课程推荐给学生,且该系统吞吐量不受教学程序数量变化所干扰,教学资源管理效果较好。

摘要：近些年,hadoop——一个由Apache基金会开发的开源的分布式系统基础架构被提出,用于应对处理企业中指数级增长的数据。借助于hadoop,程序员可以在不了解分布式低层细节的情况下,充分利用集群的威力进行高速运算和存储。本文主要论述了企业级hadoop平台的搭建使用的相关技术,是本平台用到的技术进行了一个详细的介绍。