基于上下文感知的强化学习AUV控制器研究

作     者：徐春晖 徐德胜 周仕昊 杨士霖 XU Chunhui;XU Desheng;ZHOU Shihao;YANG Shilin

作者机构：中国科学院沈阳自动化研究所机器人学国家重点实验室辽宁沈阳110016 中国科学院机器人与智能制造创新研究院辽宁沈阳110169 辽宁省水下机器人重点实验室辽宁沈阳110169 中国科学院大学北京100049 

出 版 物：《舰船科学技术》 (Ship Science and Technology)

年 卷 期：2024年第46卷第11期

页      码：108-114页

摘      要：为了提升基于强化学习的自主水下航行器(Autonomous Underwater vehicle,AUV)控制器在复杂海况中对环境干扰的鲁棒性,设计一种利用上下文信息进行环境感知的强化学习控制器。结合水下机器人运动学及动力学方程对深度跟踪任务进行建模,构建了基于PPO-clip算法的深度控制器,并在算法中融入了上下文变量和域随机化方法。在仿真环境中分别进行海流干扰、暗涌干扰以及两者共同干扰环境的深度跟踪任务,仿真结果表明,本文提出的方法对强化学习控制器的抗干扰能力有明显的提升,在多种环境干扰下更精准地完成深度跟踪任务。

主 题 词：AUV 深度控制 强化学习 上下文感知 

学科分类：081104[081104] 08[工学] 0811[工学-水利类] 

D　O　I：10.3404/j.issn.1672-7649.2024.11.020

馆 藏 号：203128434...