摘要：针对现有基于深度强化学习的交通信号控制方法的模型学习和决策成本高的问题,提出基于异步优势演员-评论家(a3c)算法的单交叉口交通信号控制方法.在模型输入端分别从交叉口和车道2个不同维度构建车辆权重增益网络,对采集的车辆状态信息进行预处理.设计新的奖励机制,提出融合车辆权重增益网络的a3c算法.基于微观交通仿真软件SUMO的仿真测试结果表明,相比于传统的交通信号控制方法和基准强化学习方法,所提方法在低、中、高3种不同的交通流量状态下,均能够取得更好的交通信号控制效益.

摘要：针对智能仓储多AGV(automated guided vehicle)路径规划实时性差,障碍物识别能力弱,多AGV碰撞、死锁和拥堵等问题,提出了一种智能仓储交通信号控制与多AGV路径规划协同控制方法,将交通信号与多AGV路径规划视为一个整体,设计一种交通信号与多AGV路径规划协同控制框架,并提出LS-a3c(long short-asynchronous advantage actor-critic)算法和Bi-LSTM-cBAM(bi-long short-term memory-convolutional block attention module)算法作为框架的核心算法。LS-a3c算法使用长短时编码器和注意力机制分别对交通信号的长期信息和短期信息进行编码,以学习元特征表示,并使用a3c框架计算元Q值和控制策略,实现交通信号时间自适应AGV流量,解决多AGV碰撞、死锁和拥堵等问题。Bi-LSTM-cBAM算法通过计算本时刻和前置时刻状态特征,对输出结果进行拼接处理,可以有效解决神经网络梯度消失和爆炸的问题,提高AGV路径规划实时性;引入注意力机制模块cBAM,根据输入信息重要程度分配权重,加强AGV对障碍物识别能力。在Sumo和Gazebo联合仿真平台进行仿真实验,实验结果表明,该协同控制方法使AGV碰撞、死锁及拥堵情况明显降低,障碍物识别能力显著提高,路径规划实时性大幅增强,达到提升AGV作业效率的目的。

摘要：为让电梯调度算法在电梯电力能耗、用户乘梯体验和算法适应性方面具备更好表现,在目前主流的电梯调度算法基础之上,提出对调度环境、电梯行为和调度目标3个方面进行统一建模的基于强化学习a3c的电梯智能调度算法。让调度电梯在不断地和环境交互学习过程中逐渐学习得到最优电梯调度策略,与基于具体环境建模的相关电梯调度算法进行对比实验,基于a3c的调度算法具有建模简单规范、适应性强和控制目标多样的优势,对比a3c算法与部分强化学习算法在电梯调度中的优劣,实验结果表明,a3c算法具备较好的调度性能。