基于多智能体Actor-Critic算法的异构网络能效优化

作     者：张茜茜 李君 李正权 于心远 Zhang Xixi;Li Jun;Li Zhengquan;Yu Xinyuan

作者机构：南京信息工程大学南京210044 无锡学院无锡214105 江南大学轻工过程先进控制教育部重点实验室无锡214122 北京邮电大学网络与交换技术国家重点实验室北京100876 

基　　金：国家自然科学基金(61571108) 网络与交换技术国家重点实验室(北京邮电大学)开放课题资助项目(SKLNST-2020-1-13) 南京信息工程大学无锡研究生创新实践项目(WXCX202101)资助 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2022年第45卷第22期

页      码：12-18页

摘      要：为了最大限度地提高异构网络(HetNets)的能量利用率,本文将能效优化问题设计为一个多级决策问题,根据优化目标的资源分配,首先将初始问题分解为对参数几乎空白子帧比例和小区间范围扩展进行优化的两个子问题,采用多智能体Actor-Critic(MAAC)算法对子问题进行求解,然后通过迭代各优化子问题的解,解决初始优化问题。在参数优化过程中,将单个小基站作为一个智能体,采用MAAC算法对各自CRE寻找最优解,实现小区间异步CRE优化。实验结果表明,该方法在保持能效稳定提高的前提下,相比较于表格式Q学习的循环Q学习算法,其收敛速度提高了40%,并且通过异步优化CRE的方式取得了基站间更均衡的负载。

主 题 词：异构网络 eICIC 多智能体 MAAC 

学科分类：11[军事学] 0810[工学-土木类] 1105[1105] 08[工学] 081002[081002] 110503[110503] 

D　O　I：10.19651/j.cnki.emt.2209905

馆 藏 号：203115709...