基于Q学习的异构多智能体系统最优一致性

作     者：程薇燃 李金娜 Cheng Weiran;Li Jinna

作者机构：辽宁石油化工大学信息与控制工程学院辽宁抚顺113001 

基　　金：国家自然科学基金项目(62073158) 辽宁省重点领域联合开放基金项目(2019-KF-03-06) 辽宁省教育厅基本科研项目(LJKZ0401) 辽宁石油化工大学研究基金项目(2018XJJ-005) 

出 版 物：《辽宁石油化工大学学报》 (Journal of Liaoning Petrochemical University)

年 卷 期：2022年第42卷第4期

页      码：59-67页

摘      要：对有领导者的异构离散多智能体系统的最优一致性问题,提出了一种无模型的基于非策略强化学习的控制协议设计方法。由于异构多智能体系统的状态矩阵不同,其局部邻居误差的动态表达式比较复杂。与现有的多智能体系统分布式控制方案相比,所提算法减少了计算的复杂性。首先,建立由增广变量构造的多智能体系统全局邻居误差动态表达式。其次,通过二次型形式的值函数得到耦合贝尔曼方程和Hamilton-Jacobi-Bellman(HJB)方程。再次,求解耦合HJB方程的最优解,得到多智能体最优一致性的纳什均衡解,并给出纳什均衡证明。从次,基于无模型的非策略Q学习算法,求解多智能体最优一致性的纳什均衡解。最后,利用批判神经网络结构,结合梯度下降法实现了所提出的算法,并通过仿真实例验证了算法的有效性。

主 题 词：多智能体系统 神经网络 强化学习 最优一致性 

学科分类：0711[理学-心理学类] 07[理学] 08[工学] 081101[081101] 0811[工学-水利类] 071102[071102] 081103[081103] 

D　O　I：10.3969/j.issn.1672-6952.2022.04.011

馆 藏 号：203114478...