基于组合训练的规则嵌入多智能体强化学习方法

作     者：李渊 徐新海 Li Yuan;Xu Xinhai

作者机构：军事科学院北京100190 

基　　金：国家青年科学基金资助项目 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2022年第39卷第3期

页      码：802-806页

摘      要：多智能体强化学习方法在仿真模拟、游戏对抗、推荐系统等许多方面取得了突出的进展。然而,现实世界的复杂问题使得强化学习方法存在无效探索多、训练速度慢、学习能力难以持续提升等问题。该研究嵌入规则的多智能体强化学习技术,提出基于组合训练的规则与学习结合的方式,分别设计融合规则的多智能体强化学习模型与规则选择模型,通过组合训练将两者有机结合,能够根据当前态势决定使用强化学习决策还是使用规则决策,有效解决在学习中使用哪些规则以及规则使用时机的问题。依托中国电子科技集团发布的多智能体对抗平台,对提出的方法进行实验分析和验证。通过与内置对手对抗,嵌入规则的方法经过约1.4万局训练就收敛到60%的胜率,而没有嵌入规则的算法需要约1.7万局的时候收敛到50%的胜率,结果表明嵌入规则的方法能够有效提升学习的收敛速度和最终效果。

主 题 词：多智能体强化学习 嵌入规则 规则选择模型 组合训练 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.19734/j.issn.1001-3695.2021.09.0351

馆 藏 号：203108306...