基于深度确定性策略梯度的队列纵向协同控制策略

作     者：闵海根 杨一鸣 王武祺 方煜坤 宋晓鹏 MIN Hai-gen;YANG Yi-ming;WANG Wu-qi;FANG Yu-kun;SONG Xiao-peng

作者机构：长安大学信息工程学院陕西西安710064 长安大学“车联网”教育部中国移动联合实验室陕西西安710064 浙江省交通规划设计研究院有限公司浙江杭州310017 

基　　金：国家自然科学基金项目(61903046) 陕西省重点研发计划项目(2021GY-290) 浙江省重点研发计划项目(2020C01057) “车联网”教育部-中国移动联合实验室基金项目(教技司(2016)477号) 

出 版 物：《长安大学学报（自然科学版）》 (Journal of Chang’an University(Natural Science Edition))

年 卷 期：2021年第41卷第4期

页      码：90-100页

摘      要：为了解决车辆队列控制中的车辆连续精确控制问题和行驶过程中车辆队列纵向稳定性问题,提出了一种在中等速度环境下基于深度强化学习(deep reinforcement learning,DRL)的车辆队列纵向控制策略。该策略充分考虑了影响队列安全的车辆距离、车辆速度和车辆加速度3个关键影响因素,并将车辆动力学和舒适性作为策略学习过程中的约束条件。首先,建立基于强化学习的车辆队列纵向控制模型。其次,提出一个深度强化学习过程来进行队列纵向控制策略的迭代,最终目标为获得车辆的最优控制策略;并且设计了一个多目标的奖励函数,该函数综合了距离误差、速度误差和加速度约束对应的奖励。最后,采用深度确定性策略梯度(deep deterministic policy gradient,DDPG)求解队列纵向控制问题,该算法将动作-评价(actor-critic,AC)网络的优点与深度Q网络(deep Q-network,DQN)的优点相结合,有效解决连续状态空间和连续动作空间上的车辆队列控制问题;并设计和训练了基于DDPG的队列控制模型用于队列纵向控制,验证该控制策略的有效性。结果表明:提出的基于强化学习的队列控制方法具有和分布式模型预测控制算法相当的控制精度,并能在"前车-领航车跟随"通信拓扑下实现队列的串稳定性。

主 题 词：交通工程 深度强化学习 队列纵向控制 深度确定性策略梯度 队列稳定性 

学科分类：08[工学] 082303[082303] 0813[工学-化工与制药类] 0802[工学-机械学] 0814[工学-地质类] 082302[082302] 0801[工学-力学类] 0823[工学-农业工程类] 

核心收录：

D　O　I：10.19721/j.cnki.1671-8879.2021.04.009

馆 藏 号：203104713...