基于异步深度强化学习的车联网协作卸载策略

作     者：赵晓焱 韩威 张俊娜 袁培燕 ZHAO Xiaoyan;HAN Wei;ZHANG Junna;YUAN Peiyan

作者机构：河南师范大学计算机与信息工程学院河南新乡453007 智慧商务与物联网技术河南省工程实验室(河南师范大学)河南新乡453007 

基　　金：国家自然科学基金资助项目(62072159) 河南省科技攻关项目(222102210011,232102211061) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第5期

页      码：1501-1510页

摘      要：随着车联网(IoV)的快速发展,智能网联汽车产生了大量延迟敏感型和计算密集型任务,有限的车辆计算资源以及传统的云服务模式无法满足车载用户的需求,移动边缘计算(MEC)为解决海量数据的任务卸载提供了一种有效范式。但在考虑多任务、多用户场景时,由于车辆位置、任务种类以及车辆密度的实时性和动态变化,IoV中任务卸载场景复杂度较高,卸载过程中容易出现边缘资源分配不均衡、通信成本开销过大、算法收敛慢等问题。为解决以上问题,重点研究了IoV中多任务、多用户移动场景中的多边缘服务器协同任务卸载策略。首先,提出一种多边缘协同处理的三层异构网络模型,针对IoV中不断变化的环境,引入动态协作簇,将卸载问题转化为时延和能耗的联合优化问题;其次,将问题分为卸载决策和资源分配两个子问题,其中资源分配问题又拆分为面向边缘服务器和传输带宽的资源分配,并基于凸优化理论求解。为了寻求最优卸载决策集,提出一种能在协作簇中处理连续问题的多边缘协作深度确定性策略梯度(MC-DDPG)算法,并在此基础上设计了一种异步多边缘协作深度确定性策略梯度(AMCDDPG)算法,通过将协作簇中的训练参数异步上传至云端进行全局更新,再将更新结果返回每个协作簇中提高收敛速度。仿真结果显示,AMC-DDPG算法较DDPG算法至少提高了30%的收敛速度,且在奖励和总成本等方面也取得了较好的效果。

主 题 词：车联网 移动边缘计算 任务卸载 协作 深度强化学习 

学科分类：08[工学] 081201[081201] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2023050788

馆 藏 号：203127982...