GenFedRL:面向深度强化学习智能体的通用联邦强化学习框架

作     者：金彪 李逸康 姚志强 陈瑜霖 熊金波 JIN Biao;LI Yikang;YAO Zhiqiang;CHEN Yulin;XIONG Jinbo

作者机构：福建师范大学计算机与网络空间安全学院福建福州350007 大数据分析与应用福建省高校工程研究中心福建福州350007 

基　　金：国家自然科学基金资助项目(No.62272103) 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2023年第44卷第6期

页      码：183-197页

摘      要：针对智能物联网中,搭载深度强化学习智能体的智能设备缺乏有效安全数据共享机制的问题,提出一种面向深度强化学习智能体的通用联邦强化学习(GenFedRL)框架。GenFedRL不需要共享深度强化学习智能体的本地私有数据,而通过模型共享技术实现共同训练,在保护各智能体私有数据隐私的同时,有效地利用其数据资源和计算资源。为应对现实通信环境的复杂性与满足加速训练的需要,为GenFedRL设计了基于同步并行的模型共享机制。结合常见深度强化学习算法自身的模型结构特点,基于FedAvg算法设计了适用于单网络结构与多网络结构的通用联邦强化学习算法,进而实现了具有同种网络结构的智能体间的模型共享机制,更好地保护各类智能体的私有数据。仿真实验表明,即使在大部分数据节点无法参与训练的恶劣通信环境下,常见深度强化学习算法智能体在所提框架上仍表现出良好的性能。

主 题 词：智能物联网 联邦学习 联邦强化学习 深度强化学习 

学科分类：080904[080904] 0810[工学-土木类] 0809[工学-计算机类] 08[工学] 080402[080402] 0804[工学-材料学] 081001[081001] 

核心收录：

D　O　I：10.11959/j.issn.1000-436x.2023122

馆 藏 号：203122603...