基于混合近端策略优化的交叉口信号相位与配时优化方法

作     者：陈喜群 朱奕璋 吕朝锋 CHEN Xi-qun;ZHU Yi-zhang;LV Chao-feng

作者机构：浙江大学建筑工程学院智能交通研究所杭州310058 浙江大学工程师学院智能交通研究所杭州310058 浙江大学建筑工程学院杭州310058 

基　　金：国家自然科学基金(72171210) 浙江省自然科学基金重点项目(LZ23E080002) 

出 版 物：《交通运输系统工程与信息》 (Journal of Transportation Systems Engineering and Information Technology)

年 卷 期：2023年第23卷第1期

页      码：106-113页

摘      要：交通信号优化控制是从供给侧缓解城市交通拥堵的重要手段,随着交通大数据技术的发展,利用深度强化学习进行信号控制成为重点研究方向。现有控制框架大多属于离散相位选择控制,相位时间通过决策间隔累积得到,可能与智能体探索更优动作相冲突。为此,本文提出基于混合近端策略优化(Hybrid Proximal Policy Optimization,HPPO)的交叉口信号相位与配时优化方法。首先在考虑相位时间实际应用边界条件约束下,将信号控制动作定义为参数化动作;然后通过提取交通流状态信息并输入到双策略网络,自适应生成下一相位及其相位持续时间,并通过执行动作后的交通状态变化,评估获得奖励值,学习相位和相位时间之间的内在联系。搭建仿真平台,以真实交通流数据为输入对新方法进行测试与算法对比。结果表明:新方法与离散控制相比具有更低的决策频率和更优的控制效果,车辆平均行程时间和车道平均排队长度分别降低了27.65%和23.65%。

主 题 词：智能交通 混合动作空间 深度强化学习 混合近端策略优化 智能体设计 

学科分类：08[工学] 082303[082303] 082302[082302] 0823[工学-农业工程类] 

核心收录：

D　O　I：10.16097/j.cnki.1009-6744.2023.01.012

馆 藏 号：203115932...