摘要：考虑水下未知信道与不确定模型参数,提出基于深度强化学习的多潜器编队控制算法.首先,提出基于环境采样数据的最小二乘估计器,用于预测在衰落环境下的未知信道;其次,根据信道预测估计器得出的信噪比(SNR),建立通信有效性与编队稳定性的联合优化问题,并给出基于深度强化学习-深度确定性策略梯度算法(DDPG)的编队控制算法;最后,通过仿真与实验结果验证所提出算法的有效性,参考仿真结果并相比于直接编队控制,考虑通信有效性的情况下所提出算法提升了13.5%的通信性能.

摘要：水下目标编队包围控制旨在通过水下机器人环绕运动,可实现对目标的近距离全方位监测.然而,未知流速场与水下机器人模型不确定等约束,导致水下机器人难以形成可靠、稳定的编队队形.为此,研究了基于流速场预测的水下机器人编队包围问题.首先,根据水下机器人真实轨迹与估计轨迹,设计了分布式流速场参数估计器,以实现流速场实时预测.基于此,结合水下机器人状态与环境信息,提出了动力学模型神经网络估计器,设计了基于导航向量场的目标编队包围算法,以在避障同时对移动目标实现包围控制.最后,给出导航向量场和模型估计器权重更新率的理论推导过程.仿真与实验结果表明,所提流速场预测方法可摆脱对划分栅格的依赖,同时,所提算法能在障碍物与未知流速场环境下完成目标包围任务.