基于Spark的并行遗传算法求解多峰函数极值

作     者：刘鹏 叶帅 孟磊 王灿 LIU Peng;YE Shuai;MENG Lei;WANG Can

作者机构：中国矿业大学物联网(感知矿山)研究中心江苏徐州221008 矿山互联网应用技术国家地方联合工程实验室江苏徐州221008 中国矿业大学信息与控制工程学院江苏徐州221116 华东计算技术研究所航天产品部上海201808 

基　　金：国家自然科学基金(61471361 41302203) 

出 版 物：《计算机工程与科学》 (Computer Engineering & Science)

年 卷 期：2018年第40卷第2期

页      码：210-217页

摘      要：遗传算法求解多峰函数极值需进行反复多次的迭代运算,面对大数据样本时会出现运算效率过低的现象,这极大地限制了遗传算法的实际应用。经典Hadoop并行平台可在一定程度上提高遗传算法的运行效率,而新一代Spark并行平台可以更加充分地发挥遗传算法的并行潜能。设计并实现了基于Spark的并行遗传算法,在各个子节点上并行执行子种群个体的交叉、变异等操作,达到了高度并行化进化种群以高效求取多峰函数极值的目的。为方便比较,同时设计并实现了单机及Hadoop平台下的相应算法。实验结果表明,处理大数据样本时,相比传统单机和Hadoop平台,基于Spark的并行化遗传算法显著降低了求解多峰函数极值的耗时,大幅提高了算法的效率;同时,由于其并行计算带来的强大随机性,也有效避免了种群单一过早收敛的问题,提高了算法的准确性。

主 题 词：遗传算法 多峰函数 极值 并行计算 Spark Hadoop 

学科分类：08[工学] 081202[081202] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1007-130X.2018.02.003

馆 藏 号：203283072...