摘要：针对脉冲推力航天器轨道追逃博弈问题,提出一种基于强化学习的决策方法,实现追踪星在指定时刻抵近至逃逸星的特定区域,其中两星都具备自主博弈能力.首先,充分考虑追踪星和逃逸星的燃料约束、推力约束、决策周期约束、运动范围约束等实际约束条件,建立锥形安全接近区及追逃博弈过程的数学模型;其次,为了提升航天器面对不确定博弈对抗场景的自主决策能力,以近端策略优化(Proximal policy optimization,PPO)算法框架为基础,采用左右互搏的方式同时训练追踪星和逃逸星,交替提升两星的决策能力;在此基础上,为了在指定时刻完成追逃任务,提出一种终端诱导的奖励函数设计方法,基于CW(Clohessy Wiltshire)方程预测两星在终端时刻的相对误差,并将该预测误差引入奖励函数中,有效引导追踪星在指定时刻进入逃逸星的安全接近区.与现有基于当前误差设计奖励函数的方法相比,所提方法能够有效提高追击成功率.最后,通过与其他学习方法仿真对比,验证提出的训练方法和奖励函数设计方法的有效性和优越性.

摘要：针对信息非完备约束下航天器轨道博弈难以自主决策的问题,基于多智能体强化学习提出一种多航天器轨道博弈决策方法。首先建立轨道博弈动力学和信息非完备约束。其次建立用于训练和决策的神经网络模型,依据分布式系统架构对网络的输入输出结构进行设计,并引入具有记忆功能的长短期记忆网络(LSTM),根据航天器轨道运动在时间、空间连续的属性,补偿位置、速度测量信息的非完备性。然后采用近端策略优化(PPO)算法开展红蓝左右互搏式学习训练。最后通过三组对比训练实验,验证了所提出的方法在信息非完备约束下能够有效增强学习训练过程的稳定性,并提升任务完成率和降低燃料消耗。

摘要：针对单推力航天器交会对接问题,提出一种轨迹规划及跟踪算法。首先,考虑到追踪航天器只沿本体X轴安装推力器,且推力方向固定,为了实现从起始位置转移至期望位置并满足姿态要求,基于三维螺旋线设计两阶段转移轨迹,根据初末位置以及末端速度方向要求,求解螺旋线参数。该螺旋线可以保证在初末速度方向固定情况下,曲率积分最小。其次,为了降低轨迹跟踪难度并减小初始时刻的位置跟踪控制力,需要将转移轨迹初始速度与追踪星X轴重合。传统螺旋线无法满足该约束条件。本文对传统螺旋线进行改进,提出一种旋转螺旋线轨迹设计方法。通过引入姿态旋转矩阵,将螺旋线在三维空间旋转,在不改变曲线形状的前提下满足初末位置及速度方向要求。然后,为了跟踪转移轨迹以及跟踪期望推力方向,提出基于CLF(Control Lyapunov Function)的滑模控制策略,当追踪星X轴与期望推力方向夹角较大时,采用CLF,保证最优性;当姿态误差收敛至滑模面附近时,切换为滑模控制,以提升系统鲁棒性。最后,通过仿真验证旋转螺旋线相比于传统螺旋线的优势。

摘要：研究了双体卫星(DFP)对日定向姿态机动控制问题。首先分析双体卫星工作机理,建立载荷舱与平台舱姿态模型,推导磁浮机构线圈和磁钢相对距离的数学表达式。提出基于PD控制的载荷舱对日姿态机动、平台舱姿态跟踪以及两舱避碰等控制策略。在此基础上,为提高平台舱姿态跟踪速度,设计反步控制器对平台舱飞轮的动态特性进行补偿。进一步,为提高两舱协同控制性能,对传统PD控制进行改进,提出基于变增益PD控制的载荷舱姿态机动控制律,将两舱相对姿态信息包含在载荷舱对日姿态机动控制律中,有效降低了两舱碰撞风险,提高了两舱姿态机动速度。仿真结果表明,本文控制算法能有效实现双体卫星对日定向,且能避免两舱碰撞。

摘要：针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。