摘要：5G网络切片与计算卸载技术的出现,有望支持移动边缘计算(Mobile Edge Computing,MEC)系统在降低服务延迟的同时提高资源利用率,进而更好地满足不同用户的需求.然而,由于MEC系统状态的动态性与用户需求的多变性,如何有效结合网络切片与计算卸载技术仍面临着巨大的挑战.现有解决方案通常依赖于静态网络资源划分或系统先验知识,无法适应动态多变的MEC环境,造成了过度的服务延时与不合理的资源供给.为解决上述重要挑战,本文提出了一种MEC环境中面向5G网络切片的计算卸载(Computation Offloading towards Network Slicing,CONS)方法.首先,基于对历史用户请求的分析,设计了一种门控循环神经网络对未来时隙的用户请求数量进行精确预测,结合用户资源需求对网络切片进行动态调整.接着,基于网络切片资源划分的结果,设计了一种双延迟深度强化学习对计算卸载与资源分配进行决策,通过解决Q值过高估计和高方差问题,进而有效逼近动态MEC环境下的最优策略.基于真实用户通信流量数据集,大量仿真实验验证了所提的CONS方法的可行性和有效性.与其他5种基准方法相比,CONS方法能够有效地提高服务提供商的收益,且在不同场景下均展现出了更加优越的性能.

摘要：移动边缘计算(MEC)通过将计算与存储资源部署至网络边缘,有效降低了任务响应时间并提高了资源利用率。由于MEC系统状态的动态性和用户需求的多变性,如何进行有效的任务调度面临着巨大的挑战,不合理的任务调度策略将严重影响系统的整体性能。现有工作通常对任务采用平均分配资源或基于规则的策略,不能有效地处理动态的MEC环境,这可能造成过多的资源消耗,进而导致服务质量(QoS)下降。针对上述重要问题,提出了一种MEC中基于Actor-Critic深度强化学习的任务调度方法(TSAC)。首先,提出了一种面向边缘环境的任务调度模型并将任务等待时间和任务完成率作为优化目标;其次,基于所提系统模型与深度强化学习框架,将联合优化问题形式化为马尔可夫决策过程;最后,基于近端策略优化方法,设计了一种新型的掩码机制,在避免智能体做出违反系统约束的动作和策略突变的同时提高了TSAC的收敛性能。基于谷歌集群真实运行数据集进行仿真实验,与深度Q网络方法相比,至少降低6%的任务等待时间,同时提高4%的任务完成率,验证了的可行性和有效性。