摘要：为了降低移动边缘网络中的内容获取时延和传输开销,提出一种基于双延迟深度确定性策略梯度(td3)的多智能体协作缓存策略(MACC)。首先构建多智能体边缘缓存模型,将多节点缓存替换问题建模为部分可观测马尔可夫决策过程(POMDP),把相邻节点的缓存状态和内容请求信息融入到各节点的观察空间,提高智能体对环境的感知能力,并通过三次指数平滑法提取各节点内容请求的流行度特征,使得算法能够适应内容流行度变化,从而提高缓存命中率;然后联合本地与相邻节点的传输时延和开销来设计指导性奖励函数,引导智能体进行协作缓存,降低系统的缓存冗余和内容传输开销;最后结合Wolpertinger Architecture方法对td3算法进行多智能体扩展,使每个边缘节点都能自适应地学习缓存策略,从而提高系统性能。实验结果表明,MACC算法中边缘节点牺牲了部分缓存空间来协助相邻节点缓存请求内容,从而提高缓存命中率,在同一数据集上与MAAC、DDPG、独立td3算法相比,MACC算法的缓存命中率分别平均提高了8.50%、13.91%和29.21%,并能适应动态的边缘环境,实现较小的内容获取时延和传输开销。

摘要：为满足复杂车辆任务在时延、能耗和计算性能方面的要求,同时减少网络资源的竞争和消耗,设计了一种基于车载边缘计算(VEC)的任务卸载策略,以最小化任务处理延迟和能源消耗之间平衡的长期成本为目标,将车联网中的任务卸载问题建模为马尔可夫决策过程(MDP),提出了在传统双延时深度确定性策略梯度(td3)的基础上,利用长短期记忆网络(LSTM)来逼近策略函数和价值函数,将系统状态进行归一化处理以加速网络收敛并增强训练稳定性的改进算法(LN-td3)。仿真结果表明,LN-td3性能与全部本地计算和全部卸载计算相比提高了两倍以上;收敛速度上与深度确定性策略梯度DDPG、td3相比提高了约20%。

摘要：针对某热电站在调控供热时的温度调节能力不佳的问题,设计了基于调整一次侧管网供水流量的热电站温度调节方案,研究了td3算法相较于DDPG算法的优越性,设计了基于td3算法的热力站温度调节控制流程。通过工业应用发现热电站的温度调节的相对误差保持在4%以下,可工业使用。同时,经过经济计算发现td3温度调节控制算法为热电站带来475万元的年收益,经济性可行。

摘要：核反应堆功率控制仍多采用PID控制算法,但其控制参数往往难以选择,也难以在不同功率水平下均保持最优的控制效果。论文针对热管冷却核反应堆的功率控制设计PID控制算法,并基于深度强化学习td3算法来实现对PID控制器的参数寻优。对比基于试凑法和参数寻优选取的PID参数的控制效果,采用深度强化学习td3算法寻优参数可以获得更快速稳定的控制效果。

摘要：为应对低地球轨道下潜在的航天器脉冲式轨道转移任务挑战,提出一种用深度强化学习算法建立轨道转移通用控制模型的方法,以减少人工干预,解决反应不及时等问题。通过对轨道动力学的建模和对马尔可夫决策过程的设计,成功将td3(Twin Delayed Deep Deterministic Policy Gradient)算法运用于轨道转移决策,实现高度自主的脉冲式点火控制器的设计。实验结果表明,使用td3算法建立的脉冲式点火控制器,在不同的轨道转移任务下自主到达目标轨道的成功率可达96.1%,同时完成了轨道5个根数的收敛,证明td3算法用于解决该问题的可行性与有效性。

摘要：本文针对永磁同步电机(PMSM)在工业领域中的多变量、非线性和强耦合特性以及传统PID控制在应对其变化时可能导致参数调整困难、响应延迟、鲁棒性差以及适应性问题,提出一种结合双延迟深度确定性策略梯度(td3)算法和PID控制的创新方案,以优化PID参数调整,实现更精确的电机速度控制.在本文的方法中,融合双向长短期记忆网络(BiLSTM)到Actor和Critic网络中,极大增强了对PMSM动态行为的时间序列数据处理能力,使得系统不仅能够准确捕捉当前状态,还能预测未来趋势,从而实现对PID参数更精确和适应性强的自整定.此外,通过整合熵正则化和好奇心驱动的探索方法进一步增强策略的多样性,避免过早收敛到次优策略,并鼓励模型对未知环境进行深入探索.为验证方法的有效性,设计了一个永磁同步电机的仿真模型,并将本文提出的方法BiLSTM-td3-ICE与传统的td3以及经典的Ziegler-Nichols (Z-N)方法进行对比.实验结果充分证明了本文提出的策略在控制性能上具有显著的优势.

摘要：传统的PID(proportional integral differential)算法在用于控制一些模型复杂、参数时变的对象时存在参数整定过程繁琐、控制性能不佳、无法解决控制对象实时变化状态的影响等问题。针对上述问题,提出了一种基于双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradient,tdDDPG,以下简称td3)算法的PID参数自整定算法。该算法将td3算法与PID算法相结合,对td3算法中的神经网络结构、奖励函数进行设计,能够实现控制器参数的自整定。以两轮直立车为实验对象,针对直立车的角度PID控制器进行参数整定实验。实验结果表明,与传统的参数整定算法(Z-N(Ziegler-Nichols)参数整定法)和基于强化学习的动态PID参数自整定算法相比,所提出的算法具有更优的控制效果,能够通过神经网络学习拟合更优的控制策略,提升控制器的动态响应性能和鲁棒性。

摘要：四足机器人在非结构化地形的运动控制高度依赖于复杂的动力学模型和控制器设计,利用深度强化学习方法设计四足机器人控制器已成为趋势。针对在深度强化学习训练过程中收敛较慢、容易陷入局部最优解及计算资源消耗较大等问题,提出一种融合记忆组件的双延迟深度确定性策略梯度(Memory-integrated Twin Delayed Deep Deterministic policy gradient,M-td3)算法。首先,对四足机器人以及非结构化地形建模;其次,分析M-td3算法收敛状态与学习效率;最后,为验证控制器性能,针对多种地形进行运动控制仿真对比并制作样机进行测试。仿真结果表明,相较于传统td3算法,M-td3算法收敛更快,效率更高,运动控制性能有显著改善,样机测试结果证明基于改进td3算法所设计的控制器能够让四足机器人在非结构化地形进行有效的运动越障。

摘要：飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题,提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中,采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数,改进后的奖励函数避免了智能体被敌机诱导坠地的问题,同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题,设计了基于价值的经验池样本优先度排序方法,在保证算法收敛的前提下,显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证,结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。

摘要：以并联式混合动力汽车(HEV)为研究对象,建立整车需求功率及动力系统模型,提出一种基于改进深度强化学习(DRL)的能量分配策略。通过改进DRL中的双延迟深度确定性策略梯度(td3)算法,引入双重回放缓冲区,提出DRB-td3算法以提升原算法的采样效率。设计了基于规则的约束控制器并嵌入到DRL结构中,以消除不合理的转矩分配。在UDDS行驶工况下,以基于动态规划(DP)的能量分配策略性能作为基准进行仿真实验。实验结果表明,与深度确定性策略梯度(DDPG)算法以及传统td3算法相比,DRB-td3算法收敛性能最佳,收敛效率分别提高了61.2%和31.6%;所提出的能量分配策略相比于基于DDPG和基于td3的能量分配策略,平均燃油消耗分别降低了3.3%和2.3%,燃油经济性达到基于DP的95.2%,效果最佳,且电池荷电状态(SOC)能够保持在一个较好的水平,有助于延长电池的使用寿命。