摘要：空间连接聚集是一种常用并且非常耗时的空间数据库操作,特别是在面对大规模空间数据集时,单机运行环境难以满足其对时空开销的需求,如何设计高效的面向云计算环境中的分布式空间连接聚集算法越来越受到人们关注。map-reduce作为云计算的核心模式受限于其扁平化的串行扫描操作模型,常被用来加速非索引的空间连接操作,现有工作尚无将map-reduce和R-树索引结合来处理空间连接聚集。因此,提出了基于R-树索引的map-reduce空间连接聚集算法(RSJA-MR)来更高效地返回连接聚集结果。提出一种分布式R-树索引结构以支持大规模空间数据的索引,RSJA-MR算法利用分布式R-树生成任务集,任务集的执行满足无依赖并行计算模式,很容易在map-reduce框架中进行表达。文中提出一种实时缓存策略以支持索引并发访问。实验结果表明:相比非索引的map-reduce连接聚集算法,在空间交叠连接聚集查询上,时间性能最少提升8%,在空间包含连接聚集查询上,时间性能最少提升近35%。

摘要：为提高智能算法在map-reduce作业调度问题中的求解效率,提出一种基于改进蛙跳策略的调度算法。针对蛙跳策略在map-reduce作业调度中的应用,算法具体设计了编码方案和进化算子;同时,为提高算法收敛性能,对蛙跳策略进行改进:结合种群多样性指标增加逆转变异操作。仿真实验结果表明,提出的改进蛙跳策略在map-reduce作业调度问题求解中,收敛性能、作业总完成时间和平均完成时间三个方面均优于基本蛙跳策略和已有的智能调度算法,是一种实用的map-reduce作业调度方案。

摘要：在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop map-reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用map-reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。

摘要：互联网热点发现和舆论监控对政府公信力的提升有着重大的意义,而文本聚类技术在这些领域又有着非常广泛的应用。在当前互联网环境下,数据量之大令人匪夷所思,面对如此海量的数据,设计高效且具有良好可伸缩性的分布式处理系统就显得尤为重要。提出了把map-reduce这一分布式计算方法应用到文本聚类系统去,并通过相关实验证明了该方法的有效性,为构建具有高性能和高可扩展性的文本聚类系统提供了一种思路。

摘要：介绍了为兰州重离子加速器冷却储存环外靶实验设计实现的一套数据获取原型系统。系统借鉴流处理、map-reduce和Bigtable等技术或模型的思想,采用一套流处理节点构成的网络完成数据获取任务。系统支持对流处理网络拓扑结构自由调整,灵活地实现并行处理和负载均衡。同时通过为不同类型探测器定义接口标准以及支持用户自定义节点添加,实现大型物理实验调试和实验过程中的各种数据获取需求。目前系统已与探测器及前端电子学一起进行了一系列联合测试,验证了系统的可行性和稳定性。

摘要：针对单机环境下图像检索算法存在的计算瓶颈问题,提出1种基于Hadoop平台map-reduce框架的图像检索改进算法.首先利用云存储和分布式算法的优点,对图像检索算法进行并行化设计,然后通过改进的K-Means和Bo F算法,对原有图像检索算法进行优化,提高检索效率和准确性.实验结果表明,提出的方法能够很好地提高图像检索算法的执行速度,同时获得较好的图像检索准确性.

摘要：针对传统分类算法及技术在处理海量异构数据存在的系统性能拓展性低、计算量大、耗时长、分类效果不佳等问题,采用map-reduce与邻近分类算法融合设计适合大数据处理的并行分类混合算法,利用加权欧氏距离并行计算,达到提高海量数据分类效率、提高分类识别率和减小资源开销的目的,搭建Hadoop集群研究并在多个数据集上测试算法的可行性.实验结果表明,并行分类混合算法在海量数据分类中显现出较好的分类效果,是可行的海量数据分类模型.

摘要：业界移动通讯配置部署、运维管理系统对工程师的技术要求高,工作低效,容易出错,需要支持较大的数据量。为了解决这些痛点,我司进行4+1需求模型分析明确需求,采用正交软件架构、进程容器平台组件架构、数据工厂模式,并将管道过滤器、解释器、map-reduce风格应用于数据比较,从而实现了一种低内存,高性能,自动化高,应用简单,易扩展的集中配置系统。

摘要：为了克服大数据在采用串行加密方式时具有的加密效率低的问题,设计了一种基于双混沌系统的大数据环境的并行加密算法;首先,设计了基于map-reduce的大数据环境的并行加密模型;然后,引入了改进的Logistic映射和Tent映射构成双混沌系统,并设计了map函数、Sort函数和reduce函数实现并行加密,在map函数中通过Logistic映射和Tent映射的不断迭代计算加密密钥或解密密钥,在Sort函数对由map函数输出的键值对进行排序并剔除重复的数据块,在reduce函数中对加密后的密文数据块或解密后的明文数据块进一步合并构成输出数据;仿真实验表明:文中设计的基于双混沌系统的map-reduce并行加密模型能高效地进行数据加密或解密,能提高数据安全性和加密效率,具有较强的可行性。

摘要：随着广播监测工作的积累和发展,广播监测数据与日俱增,传统的数据处理分析技术难以实现对海量广播监测数据进行高效的分析。基于此,利用Hadoop分布式文件存储系统HDFS和分布式计算框架map-reduce,提出了一种基于云计算的海量数据分析系统设计方案,探讨了云计算技术处理分析海量广播监测数据的应用。