摘要：针对配置有燃料电池、锂电池和超级电容3能量源的混合动力汽车,提出一种基于改进深度确定性策略梯度(ddpg)算法的分层能量管理策略,以降低氢耗、提高燃料电池工作效率及维持锂电池荷电状态(SoC)。首先,采用基于模糊规则的自适应低通滤波器对功率进行分层处理,由超级电容承担峰值功率。其次,设计基于ddpg的能量管理框架,利用等效消耗最小策略的计算思想构建优化函数,并加入与燃料电池效率和锂电池SoC偏差有关的惩罚因子,优化燃料电池和锂电池的功率分配。此外,为避免噪声探索导致极端动作值的频繁出现,利用动态规划最优解辅助策略训练,提升优化效果。最后,在不同工况下进行仿真,并搭建试验平台进行验证。结果表明:与基于传统ddpg策略相比,所提策略可以有效减少锂电池SoC消耗,更好确保燃料电池工作在高效率区间,并且显著降低氢消耗,在燃料经济性方面平均可提升19%。

摘要：针对动态环境下深度确定性策略梯度学习(ddpg)的路径规划算法收敛速度慢、避障策略不佳等问题,提出了使用基于多步期望时序差分法的深度确定性策略梯度学习改进优化方案。首先,采用n步期望时序差分法求解最优策略,解决训练决策函数不佳的问题;其次,在求解最优策略时引入期望变量,并设置基准线(Baseline)减小方差运算,以增强算法的收敛性;然后,设计连续奖励函数提高算法对奖励的利用,并采用优先级经验回放的存储方式优化收敛速度;最后,搭建ROS仿真环境,验证上述方法。实验表明,所提算法较传统算法在收敛速度上提高了15%;累计到达目标点的成功次数提高21.6%;与动态障碍物发生碰撞的概率降低了11%。

摘要：针对柔性伺服系统的多频谐振抑制问题,提出一种基于ddpg的级联陷波器参数整定方法。以系统速度环开环bode图及陷波器bode图预处理结果作为训练数据,并以相位裕度作为奖励函数训练神经网络,实现所设计的伺服系统级联陷波器深度及宽度参数优化训练。搭建了三质量柔性伺服系统实验平台,并开展了多频谐振抑制实验,实验结果表明所提出的参数选择方法能够找到具有最大相位裕度的陷波器参数,并有效地抑制系统多频谐振。

摘要：目前混合动力铲运机能量管理策略通常为基于规则的策略,为了进一步优化铲运机的燃油经济性与系统能量稳定性,首次将深度确定性策略梯度(ddpg)算法应用于混合动力铲运机的能量管理策略,针对铲运机高频率循环、短时大功率输出的特点,协调控制系统能量流动,满足整车功率需求的同时,对发动机的工作区域进行“削峰填谷”,在减少油耗的同时保持超级电容SOC的控制目标下,设计奖励函数。利用基于ddpg算法的能量管理策略在铲运机不同循环工况下进行了仿真实验。结果表明,相比于传统的基于规则的能量管理策略,利用基于ddpg算法的能量管理策略,在两种工况下节油效果分别达到了8.36%与8.41%,同时更充分地利用到了超级电容的能量缓冲作用。

摘要：使用爬塔机器人完成高压输电铁塔的检修维护任务,要求机器人具有适应不同障碍环境的自动爬塔能力。不同铁塔的障碍大小、分布存在差异,传统预设逻辑的控制方法难以适应这种多样性,因此,提出了基于ddpg的越障控制方法。ddpg算法会根据机器人状态和环境感知系统获取周身障碍环境,进而探索不同机器人动作,并根据奖励信号调整确定最终的越障策略;同时基于机器人结构和任务需求设计行为树,将ddpg确定的策略映射到行为树节点上,实现具体的机器人动作。这种控制方法既能保证高层越障策略的灵活性,又允许机器人按照既定流程执行底层控制动作。通过实验证明了该方法有效提高了爬塔机器人的自主性和适应性。

摘要：无人机智能化训练过程需要与实际环境进行交互,设计基于X-Plane的深度强化学习训练系统,可以实现无人机飞行控制、空战仿真推演、智能算法评估功能,同时系统实现采用ddpg算法的F-18战斗机平稳飞行试验,形成一套完整的无人机智能化训练仿真系统。

摘要：自主导航作为四旋翼无人机飞行导航的核心问题,为了更好地优化四旋翼无人机自主导航路径规划和路径跟踪能力,采用了一种基于改进的深度确定性策略梯度算法的机器学习算法(ddpg)的四旋翼无人机自主导航跟踪控制器,算法中增加了对动作探索策略的设计和对奖励函数的改进,以及采用二维及三维电子地图模拟四旋翼无人机的飞行轨迹,提出基于Matlab软件进行四旋翼无人机自主导航仿真实验以确保系统的稳定性和可行性。结果表明,所改进的深度确定性策略梯度算法可以在仿真实验中实现四旋翼无人机在二维及三维环境下的路径规划、跟踪与避障,并做到导航过程中的姿态状态的自主调整。

摘要：在未来的局部战争中,导弹攻防对抗将成为一个重要的作战样式。用智能小车的追逃来模拟导弹攻防对抗过程,并以深度确定性策略梯度(Deep Deterministic Policy Gradient,ddpg)算法为原型,以视距和视线角为状态,借鉴PID控制思想设计回报函数,提出了一种追逃博弈算法。该算法分别在数学仿真和智能小车实物上进行了验证,实验结果表明算法可以有效地控制小车使其完成追捕任务,并且具有很好的适应性。

摘要：针对工业液压机械臂末端控制精度受惯性和摩擦等因素影响的问题,提出了一种基于深度强化学习的机械臂控制方法。首先,在机器人操作系统环境下搭建仿真机械臂并进行控制和通信模块设计。然后,对深度确定性策略梯度(ddpg)算法中的Actor-Critic网络进行设计,并基于机械臂逆运动学与深度强化学习奖励机制,设计了一种包含精度指标的分层奖励函数,促进ddpg算法收敛。最后,采用改进的ddpg算法与仿真机械臂交互训练,获得机械臂控制模型,从而实现对机械臂末端的精确控制。试验结果表明:改进的ddpg算法收敛速度提升了约14.54%,在仿真环境下机械臂可以达到6 mm的末端位置控制精度,多点测试完成率最高达到90%。

摘要：目前,强化学习在无人驾驶领域得到了广泛应用,但是如何提高无人车辆的稳定性并满足在不同工况中同时完成路径跟踪和车辆避障的要求依旧是一个难题。针对无人车辆路径跟踪与避障功能需求,提出一种基于深度确定梯度策略(Deep Deterministic Policy Gradient,ddpg)算法的无人车辆防碰撞控制策略。首先,根据ddpg算法原理和车辆控制模型得到控制系统的输入输出量,并提出一种基于sin函数的变道轨迹规划方式,来提高车辆避障能力。其次,根据控制系统输入输出量设计神经网络控制器以及研究其策略探索方案,并提出一种基于对数函数的奖励塑造方案,以解决奖励稀疏问题。最后,通过仿真实验证明,基于ddpg算法的无人车辆控制策略能够更加安全、稳定地控制车辆完成路径跟踪与避障任务,且控制精度更高。