基于自注意力机制的深度强化学习交通信号控制

作     者：张玺君 聂生元 李喆 张红 ZHANG Xijun;NIE Shengyuan;LI Zhe;ZHANG Hong

作者机构：兰州理工大学计算机与通信学院兰州730050 

基　　金：国家自然科学基金(62162040) 甘肃省自然科学基金重点项目(22JR5RA226) 甘肃省高等学校创新基金项目(2021A-028) 

出 版 物：《交通运输系统工程与信息》 (Journal of Transportation Systems Engineering and Information Technology)

年 卷 期：2024年第24卷第2期

页      码：96-104页

摘      要：交通信号控制(Traffic Signal Control, TSC)仍然是交通领域中最重要的研究课题之一。针对现有基于深度强化学习(Deep Reinforcement Learning, DRL)的交通信号控制方法的状态需要人为设计,导致提取交通状态信息难度大以及交通状态信息无法全面表达的问题,为了从有限特征中挖掘潜在交通状态信息,从而降低交通状态设计难度,提出一种引入自注意力网络的DRL算法。首先,仅获取交叉口各进入口车道车辆位置,使用非均匀量化和独热编码方法预处理得到车辆位置分布矩阵;其次,使用自注意力网络挖掘车辆位置分布矩阵的空间相关性和潜在信息,作为DRL算法的输入;最后,在单交叉口学习交通信号自适应控制策略,在多交叉口路网中验证所提算法的适应性和鲁棒性。仿真结果表明,在单交叉口环境下,与3种基准算法相比,所提算法在车辆平均等待时间等指标上具有更好的性能;在多交叉口路网中,所提算法仍然具有良好的适应性。

主 题 词：智能交通 自适应控制 深度强化学习 自注意力网络 近端策略优化 

学科分类：0710[理学-生物科学类] 08[工学] 082303[082303] 0811[工学-水利类] 082302[082302] 0823[工学-农业工程类] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16097/j.cnki.1009-6744.2024.02.010

馆 藏 号：203127486...