一种基于小型Hadoop集群的数据分层调度处理算法研究

作     者：王玮 苏琦 刘荫 周伟 于展鹏 穆林 WANG Wei;SU Qi;LIU Meng;ZHOU Wei;YU Zhan-peng;MU Lin

作者机构：国网山东省电力公司山东济南250001 

出 版 物：《电子设计工程》 (Electronic Design Engineering)

年 卷 期：2017年第25卷第14期

页      码：55-58页

摘      要：针对当前抓取调度数据量巨大且计算复杂耗时长的问题,根据数据集的维度特征属性,通过凝聚层次聚类的方式对数据进行分层处理,并将其运用到小型Hadoop分布式系统中,通过服务器Master来对一般数据库MySQL数据库进行维护与待分层,并对其中的数据特征进行归列,再按照流程传递到不同的Slave服务器使得处理好工作得以进行。Map过程之前将凝聚层次聚类规则作为预处理操作,完成数据模板文件的编写。选取MVC模式应用到实验模拟测试中:小型Hadoop分布式系统Master节点和Slave节点的运行效率比单机爬虫的效率高了近65%。

主 题 词：Hadoop分布式 凝聚层次聚类 Master服务器 Slave服务器 分层调度 

学科分类：080903[080903] 0809[工学-计算机类] 08[工学] 080501[080501] 0805[工学-能源动力学] 080502[080502] 

D　O　I：10.14022/j.cnki.dzsjgc.2017.14.014

馆 藏 号：203255063...