基于HER-TD3算法的青皮核桃采摘机械臂路径规划

作     者：杨淑华 谢晓波 邴振凯 郝建军 张秀花 袁大超 YANG Shuhua;XIE Xiaobo;BING Zhenkai;HAO Jianjun;ZHANG Xiuhua;YUAN Dachao

作者机构：河北农业大学机电工程学院保定071001 河北省智慧农业装备技术创新中心保定071001 

基　　金：河北省重点研发计划项目(21327211D) 河北省博士研究生创新能力培养项目(CXZZBS2022050) 

出 版 物：《农业机械学报》 (Transactions of the Chinese Society for Agricultural Machinery)

年 卷 期：2024年第55卷第4期

页      码：113-123页

摘      要：针对青皮核桃和树枝等障碍物无序生长导致机械臂采摘环境复杂、训练任务量大、稳定性差等普遍存在的问题,本文设计了一种同步带模组与机械臂协作的采摘装置,并采用基于事后经验回放的双延迟深度确定性策略梯度算法(Twin delayed deep deterministic policy gradient with hindsight experience replay,HER-TD3)对采摘机械臂进行路径规划,通过HER算法提高智能体的探索能力,缓解稀疏奖励的问题;通过TD3算法提高智能体的稳定性,减少了训练中出现的震荡现象。为了证明HER-TD3算法的可行性和泛化能力,引入TD3、HER-DDPG算法进行对比,采用降维训练方法对3种深度强化学习智能体进行训练,结果表明HER-TD3算法模型在完成路径规划任务中成功率达到98%,与HER-DDPG算法相比提高4个百分点,与TD3算法相比提高19个百分点;在CoppeliaSim软件中搭建三维模型仿真环境,设计初始姿态和碰撞检测,使用YOLO v4识别青皮核桃,通过该算法模型能够引导虚拟采摘机械臂避开树枝障碍物达到目标位置,完成无碰撞路径规划,无障碍物和有障碍物时路径规划成功率分别为91%和86%;利用物理样机进行青皮核桃采摘试验时,仍能较好地完成路径规划任务,无障碍物时采摘路径规划成功率为86.7%,平均运动时间为12.8 s,有障碍物时采摘路径规划成功率为80.0%,平均运动时间为13.6 s,验证了HER-TD3算法对复杂环境具有较好的适应性和稳定性。

主 题 词：青皮核桃 采摘机器人 机械臂 HER-TD3算法 路径规划 

学科分类：0828[工学-建筑类] 08[工学] 

核心收录：

D　O　I：10.6041/j.issn.1000-1298.2024.04.011

馆 藏 号：203127549...