摘要：使用无人机(UAV)持续监测指定区域可以起到威慑入侵破坏、及时发现异常等作用,然而固定的监测规律容易被入侵者发现,因此需要设计UAV飞行路径的随机算法。针对以上问题,提出一种基于值函数迭代(VFI)的UAV持续监测路径规划算法。首先,合理选择监测目标点的状态,并分析各监测节点的剩余时间;其次,结合奖励/惩罚收益和路径安全性约束构建该监测目标点对应状态的值函数,在VFI算法过程中基于ε原则和轮盘选择随机选择下一节点;最后,以所有状态的值函数增长趋于饱和为目标,求解UAV持续监测路径。仿真实验结果表明,所提算法获得的信息熵为0.9050,VFI运行时间为0.3637 s,相较于传统蚁群算法(ACO),所提算法的信息熵提升了216%,运行时间降低了59%,随机性与快速性均有所提升,验证了具有随机性的UAV飞行路径对提高持续监测效率具有重要意义。

摘要：在移动边缘计算(MEC)网络架构中,用户能够以较低的网络延时访问服务,当用户发生移动时,为保证服务的连续性以及业务的服务质量,需要引入服务迁移策略。为解决此问题,将服务迁移问题建模为马尔科夫决策过程(MDP),用户移动模型采用二维随机行走模型,构造基于迁移成本与传输成本的收益函数,基于贝尔曼方程的长期收益值更新迁移策略,得出最优迁移策略。仿真结果表明,所提算法与传统服务迁移策略相比,在保证服务连续性的同时降低了总成本,降低了用户移动对后续服务质量的影响。

摘要：本文研究了具有指定收敛速度的线性离散时间系统鲁棒跟踪设计问题。首先利用鲁棒输出调节理论描述了跟踪控制问题,再结合系统数据与强化学习实现了具有指定收敛速度的跟踪控制。学习得到的控制方案不仅保证了跟踪误差渐近收敛到零,而且具有针对不确定系统动态的鲁棒性。本文所述的指定收敛速度设计不依赖系统演化时间或精确系统模型,因此是数据驱动的。