摘要：在车间管理中,设备负荷是一个关键性能指标,负荷稳定直接影响了生产效率与生产成本,但目前鲜有研究关注如何实现设备负荷稳定的问题。为此,提出一种面向设备负荷稳定的智能车间调度方法。该方法通过一个含有深度神经网络调度模型的调度智能体,分析车间生产状态与设备负荷间的相关性,及时输出满足期望目标的调度方案。针对深度神经网络调度模型,设计了一个基于双深度q学习网络(DDqN)的深度神经网络调度模型训练器,其利用奖惩学习免监督地形成调度样本,借此对深度神经网络调度模型进行网络参数更新,实现模型自学习。所提方法在MiniFab半导体生产车间模型中进行了验证,证明了所提调度方法能实现对智能车间设备负荷的控制,从而保证车间整体设备负荷的稳定性。

摘要：随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应。文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法。首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应。然后,基于马尔可夫决策过程框架构建补贴价格决策优化模型,并设计基于深度q学习网络的求解算法。最后,以1个售电商和3个不同类型的用户为例进行仿真计算,通过分析算法收敛性和对比不同模型及参数下的优化结果,验证了改进模型的合理性和生成策略的有效性,并分析了激励型需求响应对售电商以及用户的影响。

摘要：针对航天飞行器气动力不足难以维持应急侧向操纵确保安全避开障碍物的问题,提出一种基于深度q学习网络(Deep q-learning Network,DqN)变动力智能决策的轨迹规划方法。根据变动力航天飞行器运动学方程,设计基于航程误差的纵向制导律和考虑避开障碍物的横侧向制导律,用于实时校正倾侧角的幅值和符号,保证终端制导精度和绕飞安全性。从变动力智能决策层面出发,将航天飞行器动力档位调节问题转化为马尔可夫决策过程,以攻角、马赫数以及航天飞行器与障碍物的相对距离为状态空间,以航天飞行器动力档位为动作空间,设计考虑碰撞概率和终端约束偏差的奖励函数,构建DqN网络对智能体进行训练,以得到最佳动力档位。仿真结果表明,所提算法可以赋能航天飞行器在满足终端约束条件下提升运动过程的横向避障能力。

摘要：现代雷达往往需要在复杂多变的电磁环境中完成多种任务。如何提升雷达的智能化水平,使其能够适应环境变化和任务需求,已成为近年来备受关注的研究课题。本文针对杂波环境下机动目标检测与跟踪的性能优化问题,提出了一种基于环境感知的雷达波形参数智能调度算法。基于最大信噪比准则和最小均方误差准则设计了奖励函数,并利用q学习与深度q学习网络进行了训练,通过雷达与环境的交互,充分利用环境中多帧杂波信息,可有效避免由于模糊导致的杂波遮蔽问题,提升目标信噪比和跟踪精度。机载雷达仿真实验结果表明,在杂波环境下对机动目标检测和跟踪过程中,本文提出的环境感知信息辅助的波形智能选择方案可获得比传统启发式算法更高的处理效率和更大的性能改善。

摘要：针对干扰策略与干扰波形联合优化设计问题,提出了一种基于双层强化学习的干扰策略与间歇采样转发干扰波形人工智能优化设计方法。该方法通过建立基于双层强化学习的干扰决策模型,外层利用q学习(q-learning)算法,基于雷达工作模式识别对干扰策略进行人工智能优化,内层利用深度q学习网络(deep q-leaning network,DqN)对非均匀间歇采样转发干扰波形进行人工智能优化,从而将一个干扰策略与相干干扰波形优化的二维决策问题转换为两个一维决策问题。仿真实验表明:该模型对于未知且复杂的电磁环境具有良好的自适应能力,为多层强化学习网络应用于复杂干扰决策场景提供了一种可行的解决方案。

摘要：针对传统深度q学习网络(deep q-learning network,DqN)在具有动态障碍物的路径规划下,移动机器人在探索时频繁碰撞难以移动至目标点的问题,通过在探索策略和经验回放机制上进行改进,提出一种改进的DqN算法。在探索策略上,利用快速搜索随机树(rapidly-exploring random tree,RRT)算法自动生成静态先验知识来指导动作选取,替代ε-贪婪策略的随机动作,提高智能体到达目标的成功率;在经验利用上,使用K-means算法设计一种聚类经验回放机制,根据动态障碍物的位置信息进行聚类分簇,着重采样与当前智能体状态相似的经验进行回放,使智能体更有效地避免碰撞动态障碍物。二维栅格化环境下的仿真实验表明,在动态环境下,该算法可以避开静态和动态障碍物,成功移动至目标点,验证了该算法在应对动态避障路径规划的可行性。