自适应学习率的增量强化学习飞行控制

作     者：刘俊辉 单家元 荣吉利 郑雄 LIU Jun-hui;SHAN Jia-yuan;RONG Ji-li;ZHENG Xiong

作者机构：北京理工大学宇航学院北京100081 北京理工大学飞行器动力学与控制教育部重点实验室北京100081 中国运载火箭技术研究院北京100076 

基　　金：国家自然科学基金(62103049 61873031) 

出 版 物：《宇航学报》 (Journal of Astronautics)

年 卷 期：2022年第43卷第1期

页      码：111-121页

摘      要：针对预先设定学习率的增量强化学习(IRL)飞行控制律失败率较高,并且无法适应飞行器大范围动力学特性变化下的稳定控制问题,提出一种自适应学习率的增量强化学习(ALRIRL)控制方法。首先,基于小波分析方法构造控制系统稳定度评价函数,用于评估控制器稳定度。然后,基于梯度下降法设计学习率在线迭代计算方法,以提升强化学习控制器的收敛性。最后,通过随机初始状态及随机动压变化下蒙特卡洛打靶试验和数学仿真来验证ALRIRL算法,仿真结果表明提出的方法能够根据参考状态跟踪误差振荡情况自适应调整学习率参数,实现飞行姿态稳定跟踪控制,提高强化学习飞行控制器的成功率。该方法减轻了IRL飞行控制算法对预先设定学习率超参数的依赖,拓宽了IRL在飞行器大范围动力学参数变化情况下的应用。

主 题 词：自适应学习率 小波分析 飞行控制 增量强化学习 

学科分类：08[工学] 082601[082601] 082501[082501] 0826[工学-生物医学工程类] 082602[082602] 0825[工学-环境科学与工程类] 

核心收录：

D　O　I：10.3873/j.issn.1000-1328.2022.01.013

馆 藏 号：203109141...