摘要：车辆行驶控制决策是无人驾驶的核心技术,现有基于深度强化学习的无人驾驶控制决策算法存在处理数据效率低、无法有效提取状态间时序特征等问题.因此本文提出了一种基于多步积累奖励的双重时序Q网络算法.首先,设计了一种多步积累奖励方法,该方法对未来多步即时奖励的累加和进行均值化,与当前即时奖励共同作用于智能体的控制策略,并在奖励函数中突出当前即时奖励的主导影响.接着设计了一种长短期记忆网络和卷积神经网络相结合的时序网络结构,增强智能体对数据间时序特征的捕获能力.实验结果验证了时序网络和多步积累奖励方法有助于提升智能体收敛速度,其中DQN, DDQN使用时序网络后,收敛速度分别提升了21.9%, 26.8%;本文算法在Carla仿真平台典型的Town01, Town02场景中的控制得分比DDQN, TD3算法分别高了36.1%, 24.6%,以及在复杂的Town03场景中针对不同线路表现出了更好的泛化性能.这些结果都表明本文算法能够有效的提升数据利用效率,并具备良好的控制能力和泛化能力.

摘要：目前超临界自然循环实验台架的数目比较有限,相关理论和实验的研究还不够充分。本文设计并搭建了超临界二氧化碳(S-CO2)自然循环台架以研究S-CO2的稳态循环特性。实验研究发现,该S-CO2实验台架能够在较低的温度差下产生有效的自然循环流量,但是在高功率下,S-CO2自然循环存在流动不稳定性。系统压力越低,自然循环流量越先进入快速增长区,而且出现流动不稳定的功率阈值也越低。加热段入口温度越低,自然循环流量也越大。