摘要：为了提高移动机器人自主导航系统的智能化水平和安全性,设计了安全屏障机制下基于sac(Soft Actor-Critic)算法的自主导航系统,并构建了依赖于机器人与最近障碍物距离、目标点距离以及偏航角的回报函数.在Gazebo仿真平台中,搭建载有激光雷达的移动机器人以及周围环境.实验结果表明,安全屏障机制在一定程度上降低了机器人撞击障碍物的概率,提高了导航的成功率,并使得基于sac算法的移动机器人自主导航系统具有更高的泛化能力.在更改起终点甚至将静态环境改为动态时,系统仍具有自主导航的能力.

摘要：现今,电燃气系统在维持微电网稳定、经济、灵活运行方面发挥着重要作用。当其受到电力与天然气负荷扰动时,控制器需要协调微电网频率和天然气管道节点的燃气压力。为此,提出1种基于柔性动作评价(sac)算法的电-气互联系统的频率-气压协调控制策略。首先,在分析天然气管网及耦合设备运行特性的基础上,建立天然气输送动态模型。其次,基于可控负荷用户行为的随机性,建立了包括微型燃气轮机(MT),电转气(P2G)设备、可控负荷、分布式电源和负荷的微电网负载频率控制模型。此外,根据微电网频率与气压2个控制目标,设计了控制器的结构。最后,设置不同工况进行仿真,结果表明所提策略能协调系统的频率与气压。

摘要：为解决sac算法在移动机器人局部路径规划中训练时间长、收敛速度慢等问题,通过引入优先级经验回放(PER)技术,提出了PER-sac算法。首先从等概率从经验池中随机抽取样本变为按优先级抽取,使网络优先训练误差较大的样本,从而提高了机器人训练过程的收敛速度和稳定性;其次优化时序差分(TD)误差的计算,以降低训练偏差;然后利用迁移学习,使机器人从简单环境到复杂环境逐步训练,从而提高训练速度;另外,设计了改进的奖励函数,增加机器人的内在奖励,从而解决了环境奖励稀疏的问题;最后在ROS平台上进行仿真测试。仿真结果表明,在不同的障碍物环境中,PER-sac算法均比原始算法收敛速度更快、规划的路径长度更短,并且PER-sac算法能够减少训练时间,在路径规划性能上明显优于原始算法。

摘要：融合多源传感器信息可实现机械臂的精准控制。提出了一种基于深度强化学习的多源信息融合控制方法,设计并搭建了可实现多源信息融合的机械臂控制实验平台,融合视觉、触觉、编码器3种模态信息,并选取学习效率较高的sac算法实现机械臂自主精准控制。在实验平台上,开展了3个由易到难的机械臂运动控制任务,以验证所提多源信息融合机械臂控制方案的有效性。

摘要：随着无人机技术的应用和发展,无人机执行任务的飞行环境愈发复杂多变,对无人机机动避障能力和航迹规划的实时性提出了更高的要求。基于泛化性较好、对环境依赖弱的深度强化学习算法,以雷达实时获取的障碍物地图信息为基础进行实时路径规划,针对二维航迹规划问题特点设计了连续奖励函数,解决了强化学习算法在二维平面航迹规划中奖励稀疏的问题;基于迁移学习的思想设计多个训练环境,并按任务的难易程度进行分步训练,降低了算法的训练难度,提高了训练效果,并使算法的收敛效果更加稳定。在实验中将sac算法与目前主流的PPO和TD3算法进行对比,实验结果表明:sac算法收敛速度快,实时性好,航迹平滑度更好。