基于深度强化学习的可重构智能超表面辅助无人机通信联合波束成形与轨迹优化

作     者：万诗晴 仲伟志 何艺 靳昊文 刘响 朱秋明 林志鹏 WAN Shiqing;ZHONG Weizhi;HE Yi;JIN Haowen;LIU Xiang;ZHU Qiuming;LIN Zhipeng

作者机构：南京航空航天大学航天学院南京210016 南京航空航天大学电子信息工程学院南京210016 

基　　金：国家自然科学基金面上项目(62271250) 国家重大科研仪器研制项目(61827801) 江苏省自然科学基金(BK20211182) 江苏省重点研发计划(产业前瞻与关键核心技术)(BE2022067-1,BE2022067-2,BE2022067-3) 东南大学移动通信国家重点实验室开放研究基金资助课题(2022D04) 

出 版 物：《电波科学学报》 (Chinese Journal of Radio Science)

年 卷 期：2024年第39卷第4期

页      码：722-731页

摘      要：针对可重构智能超表面(reconfigurable intelligent surface,RIS)辅助无人机(unmanned aerial vehicle,UAV)通信中的相移矩阵和UAV轨迹设计高度耦合所带来的运算复杂度较高的问题,本文面向RIS辅助UAV通信服务多用户场景,提出采用一种基于双深度确定性策略梯度框架的优化方法。该方法利用两个深度确定性策略梯度框架分别解耦UAV轨迹和波束成形两个子问题,并通过在奖励函数中添加与UAV能耗相关的惩罚项,实现系统频谱效率和能源效率的联合优化。数值仿真结果证明,联合优化UAV轨迹和波束成形向量能够有效提升系统性能,恰当的奖励函数设计能够有效指导智能体在动态无线环境中学习到正确的UAV轨迹与波束成形策略。该联合优化方法和基础方法相比实现了至少12%的频谱效率提升和24%的能源效率提升。

主 题 词：无人机(UAV)通信 智能超表面(RIS) 无源波束成形 轨迹优化 深度强化学习(DRL) 

学科分类：080904[080904] 0810[工学-土木类] 0809[工学-计算机类] 08[工学] 080402[080402] 0804[工学-材料学] 081001[081001] 

D　O　I：10.12265/j.cjors.2023233

馆 藏 号：203140207...