基于Hadoop的排序性能优化研究

作     者：李千慧 魏海平 窦雪英 LI Qian-hui;WEI Hai-ping;DOU Xue-ying

作者机构：辽宁石油化工大学计算机与通信工程学院辽宁抚顺113001 中国寰球工程公司辽宁分公司信息中心辽宁抚顺113006 

基　　金：辽宁省教育科学"十二五"规划立项课题(JG12DB279 JG13DB077) 

出 版 物：《电子设计工程》 (Electronic Design Engineering)

年 卷 期：2016年第24卷第2期

页      码：45-47页

摘      要：如何高效排序是在对大数据进行快速有效的分析与处理时的一个重要问题。首先对基于Hadoop平台的几种高效的排序算法(Quicksort,Heapsort和Mergesort算法)进行了研究。再通过对Hadoop平台的几种现有的排序算法的分析比较,发现频繁的读写磁盘降低数据处理的效率,提出了一种优化现有排序算法的置换选择算法,并进行了测试。测试结果表明,该算法简化了运行过程,可实现更快速的合并,从而提高数据处理的效率,对Hadoop的性能优化具有现实意义。

主 题 词：Hadoop 排序优化 置换选择算法 大数据 

学科分类：0810[工学-土木类] 08[工学] 081001[081001] 

D　O　I：10.14022/j.cnki.dzsjgc.2016.02.014

馆 藏 号：203936232...