摘要：针对绿色制造背景下的作业车间调度问题,提出一种基于析取图的调度框架,该框架可以应对复杂多变的生产调度环境,并实时反映车间生产状态和机床能耗。在将调度问题转化为马尔可夫决策过程中,定义2个静态矩阵和5个动态矩阵作为状态空间,设计有关节能策略的组合调度规则,通过全局和局部两种方式描述奖励函数。最后,使用竞争深度Q网络训练模型。通过与调度规则、遗传算法等其他优化算法测试对比,证明了文章所提方法能够有效缩短完工时间和降低车间总能耗。

摘要：受深部开采冲击地压等地质灾害扰动的影响,存在矿井超前支护系统自感知能力差、智能抗冲自适应能力弱、缺乏决策控制能力等问题。针对上述问题,提出了一种基于数字孪生和深度强化学习的矿井超前液压支架自适应抗冲支护方法。通过多源传感器感知巷道环境和超前液压支架支护状态,在虚拟世界中创建物理实体的数字孪生模型,其中物理模型精确展现超前液压支架的结构特征和细节,控制模型实现超前液压支架的自适应控制,机理模型实现对超前液压支架自适应支护的逻辑描述和机理解释,数据模型存储超前液压支架实体运行数据和孪生数据,仿真模型完成超前液压支架立柱仿真以实现超前液压支架与数字孪生模型虚实交互。根据基于深度Q网络(dqn)的超前液压支架自适应抗冲决策算法,对仿真环境中巷道抗冲支护进行智能决策,并依据决策结果对物理实体和数字孪生模型下达调控指令,实现超前液压支架智能控制。实验结果表明:立柱位移与压力变化一致,说明超前液压支架立柱仿真模型设计合理,从而验证了数字孪生模型的准确性;基于dqn的矿井超前液压支架自适应抗冲决策算法可通过调节液压支架控制器PID参数,自适应调控立柱压力,提升巷道安全等级,实现超前液压支架自适应抗冲支护。

摘要：针对资源受限传感器,在自主条件下的信号样本采集问题,设计了资源受限传感器的信号采集模型,提出了基于强化学习的信道采集选择算法,从而提高了信号样本的有效采集效率。文章比较了基于Q-Learning、dqn、DDPG等强化学习算法在信道选择应用的学习效果。通过仿真试验验证,在设置适当超参数的条件下,传感器信号样本的自主采集效率可提升至接近理论极限的95%以上,证明设计的智能采集模型可有效提升传感器自主采集的智能水平。

摘要：全球能源转型的步伐加快和技术不断进步,使得智能电网成为未来能源领域的关键焦点,并受到广泛关注。文章系统性地探讨了如何利用人工智能技术对智能电网进行高效建模和智能控制,将人工智能技术中的BP神经网络和基于dqn算法的强化学习方法引入智能电网的建模和控制策略设计中,取得了较为良好的研究成果。面向未来,文章所提出的智能电网建模与智能控制策略有望进一步推动电网运行的自动化和智能化,为全球能源转型和可持续发展做出更大的贡献。

摘要：杂乱环境中机器人推动与抓取技能自主学习问题被学者广泛研究,实现二者之间的协同是提升抓取效率的关键,本文提出一种基于生成对抗网络与模型泛化的深度强化学习算法GARL-dqn。首先,将生成对抗网络嵌入到传统dqn中,训练推动与抓取之间的协同进化;其次,将MDP中部分参数基于目标对象公式化,借鉴事后经验回放机制(HER)提高经验池样本利用率;然后,针对图像状态引入随机(卷积)神经网络来提高算法的泛化能力;最后,设计了12个测试场景,在抓取成功率与平均运动次数指标上与其他4种方法进行对比,在规则物块场景中两个指标分别为91.5%和3.406;在日常工具场景中两个指标分别为85.2%和8.6,验证了GARL-dqn算法在解决机器人推抓协同及模型泛化问题上的有效性。

摘要：针对近距空战对抗中无人机机动决策问题,本文基于深度Q网络(dqn)算法的框架,对强化学习奖励函数设计以及超参数的选择问题进行了研究。对于强化学习中的稀疏奖励问题,采用综合角度、距离、高度和速度等空战因素的辅助奖励,能够精确描述空战任务,正确引导智能体的学习方向。同时,针对应用强化学习超参数选择问题,探究了学习率、网络节点数和网络层数对决策系统的影响,并给出较好的参数选择范围,为后续研究参数选择提供参考。空战场景的仿真结果表明,通过训练智能体能够在不同空战态势下学习到较优的机动策略,但对强化学习超参数较敏感。

摘要：燃气轮机转子系统作为燃气轮机关键部件,由于难以获取敏感故障特征导致故障诊断精度不高,影响设备的安全服役。针对以上问题,提出一种改进深度Q网络(dqn)深度强化学习燃气轮机转子系统故障诊断方法。首先,以采集的一维工况原始振动信号为输入,该dqn模型的环境状态采用故障样本集组成,转子故障类型为当前模型输入的动作集合;然后,dqn模型的智能体使用一维宽卷积神经网络(WDCNN)拟合得到Q网络,并使用ε-贪婪策略做出决策动作,反馈奖励和下一状态并存储到经验池内;智能体内采用时间差分误差(TD-error)优先经验回放,使得算法更加稳定和训练收敛;智能体与环境不断交互决策出最大奖励,输出最优策略故障诊断结果。将该模型应用于西储大学轴承数据集与燃气轮机试车台数据集中,分别达到99.2%与98.7%的准确率,可以用于快速有效地进行故障诊断。结果表明该改进dqn模型具有较高的故障诊断准确性与通用性。

摘要：基于强化学习,设计了一个面向三维第一人称射击游戏(DOOM)的智能体,该智能体可在游戏环境下移动、射击敌人、收集物品等.本文算法结合深度学习的目标识别算法Faster RCNN与Deep Q-Networks(dqn)算法,可将dqn算法的搜索空间大大减小,从而极大提升本文算法的训练效率.在虚拟游戏平台(ViZDoom)的两个场景下(Defend_the_center和Health_gathering)进行实验,将本文算法与最新的三维射击游戏智能体算法进行比较,结果表明本文算法可以用更少的迭代次数实现更优的训练结果.

摘要：为应对现代战场的信息化与集群化发展趋势,从多高超声速飞行器饱和打击任务需求出发,针对其中的再入飞行时间约束条件进行研究,提出一套基于Deep Q-learning Network(dqn)的时间可控再入制导律.该制导律工作流程为首先纵向轨迹预测-校正模块根据当前飞行状态和攻角-速度剖面规划出倾侧角幅值;然后在线约束强化管理模块对其进行安全限幅处理;最后倾侧角符号规划模块以调节再入飞行时间为目标,在对横向飞行状态进行马尔科夫决策过程建模的基础上,设计相应的深度神经网络进行离线训练以在线生成倾侧角符号,进而与幅值信息共同组成最终的倾侧角指令.多组仿真的对比分析结果表明:在标称环境下的多任务仿真中,时间可控再入制导律能够自主地进行倾侧角符号的在线规划,在不影响制导精度的前提下,对再入飞行时间进行调整以满足不同的任务需求;在参数拉偏的蒙特卡洛仿真中,其在保证再入飞行安全、稳定的同时,仍然能将时间误差控制在合理的范围之内.从而验证了相对于传统方法而言,本研究所设计的再入制导律在任务适应性、鲁棒性与时间可控性等方面均具有良好表现,能够有效地满足飞行时间约束下的再入任务需求.

摘要：天然气站场中的仪表是工人和设备交互的窗口,可以反映工厂的运行状况;但是站场很多老式仪表不能远程读取示数,采用人工方法读取则浪费人力,需要对其进行智能化的读数研究;针对上述问题,采用了一种基于四足机器人作为载体运动控制,并通过深度强化学习(dqn)进行目标追踪任务和图像处理来读取仪表示数的新方法;首先通过改进的dqn算法的深度网络模型,根据仿真的环境中机器人学习效果,设计并调整动作奖励函数,设计机器人顶层决策控制系统;实现一维与二维状态参数输入下的仪表目标追踪任务;其次在仪表定位和仪表配准的基础上,通过K-means聚类二值化处理得到刻度分明的表盘;将图像进行内切圆处理,再在图像中间添加一根指针进行旋转,旋转过程中精确计算指针与表盘重合度最高的角度来得到对应刻度;经过实验表明,此算法可实现运动过程中仪表目标的精准追踪和降低计算时间,并大大提高了仪表追踪与识别的精度和效率,为天然气站场的仪表安全监控提供了有效保障。