基于Spark的分布式机器人强化学习训练框架

作     者：方伟 黄增强 徐建斌 黄羿 马新强 FANG Wei;HUANG Zeng-qiang;XU Jian-bin;HUANG Yi;MA Xin-qiang

作者机构：浙江大学智能系统与控制研究所浙江杭州310027 淮北职业技术学院计算机科学技术系安徽淮北235000 杭州电子科技大学计算机学院浙江杭州310018 国家电网浙江省电力有限公司物资分公司浙江杭州310000 重庆文理学院大数据智能计算与可视化研究所重庆402160 

基　　金：浙江大学工业控制技术国家重点实验室开放课题项目(ICT1800413) 重庆市发改委重大产业技术研发项目(2018148208) 重庆市教委科技项目(KJ1601129) 安徽省高校自然科学研究重点项目(KJ2018A0713) 安徽高校优秀青年骨干人才国内访问研修项目(gxgnfx2018108) 广东省重点领域研发计划项目(2019B010120001) 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2019年第40卷第5期

页      码：852-857页

摘      要：强化学习能够通过自主学习的方式对机器人难以利用控制方法实现的各种任务进行训练完成,有效避免了系统设计人员对系统建模或制定规则。然而,强化学习在机器人开发应用领域中训练成本高昂,需要花费大量时间成本、硬件成本实现学习训练,虽然基于仿真可以一定程度减少硬件成本,但对类似Gazebo这样的复杂机器人训练平台,仿真过程工作效率低,数据采样耗时长。为了有效解决这些问题,针对机器人仿真过程的平台易用性、兼容性等方面进行优化,提出一种基于Spark的分布式强化学习框架,为强化学习的训练与机器人仿真采样提供分布式支持,具有高兼容性、健壮性的特性。通过实验数据分析对比,表明本系统框架不仅可有效提高机器人的强化学习模型训练速度,缩短训练时间花费,且有助于节约硬件成本。

主 题 词：机器人 强化学习 Spark 分布式 数据管道 

学科分类：080202[080202] 08[工学] 0804[工学-材料学] 0802[工学-机械学] 

D　O　I：10.11996/JG.j.2095-302X.2019050852

馆 藏 号：203820364...