摘要：在现代互联大电网背景下,研究了多区域强鲁棒性的智能发电控制策略。在q学习的架构下,将深度神经网络的预测机制作为强化学习的动作选择机制,提出了一种具有强鲁棒性的深度q学习算法,设计了基于该算法的智能发电控制器。针对智能电网下的智能发电控制问题,在多智能体系统的框架下采用所提深度q学习算法进行控制,并与传统的PID、q学习和q(λ)算法进行对比。在IEEE标准2区域和以南方电网4区域为背景的仿真模型(采用了23 328种不同模型参数)中进行数值仿真,仿真结果验证了所提深度q学习算法的可行性和有效性,也验证了所设计控制器的强鲁棒性。

摘要：受损路网抢修是重特大自然灾害发生后开展应急处置和救援的一个基本前提,主要研究如何对道路抢修队进行合理的调度以快速恢复路网畅通、保障救援队伍和应急物资从出救点及时输送到各需求点.鉴于已有研究在面向大量需求点时往往很难给出有效的调度策略,首先基于路网模型和马尔科夫决策过程分析抢修队修复受损路网的关键因素,并设计一种双反馈回报函数;然后基于深度q学习求解抢修队的最优调度策略;最后通过对比实验结果表明,在大量需求点环境下,所提出方法具有较好的稳定性和可靠性,兼顾受损路网的修复效率和运输效率,能够以更少的修复代价令所有需求点可达,为灾后复杂应急场景下的受损路网抢修提供有益的尝试.

摘要：针对传统深度q学习对经验样本提取效率差、学习效率低的问题,提出一种改进深度q学习的能量管理策略。首先,采用基于模糊控制的自适应低通滤波器进行功率分层,由超级电容承担需求功率的峰值部分。然后,设计基于深度q学习的能量管理策略,以减少氢消耗量、提升燃料电池工作效率为目标,优化锂电池与燃料电池的能量分配。在策略训练过程采用基于求和树结构的优先经验回放机制。最后,在多种工况下仿真并进行平台试验。结果表明:所提出能量管理策略在燃料经济性上与基于传统深度q学习策略相比平均提高5.1%,可有效延长锂电池使用寿命,实现对三能量源燃料电池混合动力汽车的能量管理。

摘要：节点的移动降低了认知无线电-移动自组网(CR-MANETs)路由的稳定性。为此,针对CR-MANETs网络,提出基于深度q学习的稳定路由(DqLR)。设计DqLR路由的目的在于最小化端到端队列时延和提高链路稳定性。DqLR路由先通过队列可用空间和链路的连通时间计算链路成本。然后,建立深度q学习模型,并选择具有最低q值作为下一跳转发节点,进而构建稳定路由。最后,利用SimPy仿真框架建立仿真平台,分析了DqLR路由的性能。仿真结果表明,相比于基于链路稳定的MANETs路由(LSR),提出的DqLR路由降低了队列时延和路由时延,并提高了数据包传递率。

摘要：工业生产活动中的多任务并发卸载过程会利用大量计算资源,但是多源异构的任务需要执行的时间存在差异,系统的计算资源和网络负载等情况也会极大地影响任务资源分配的方案。文章针对上述问题进行研究,首先设计模型模拟实际工业场景并分析资源分配过程;然后使用DqN算法以最大化任务完成数量为目标,对每个任务进行资源分配;最后通过分析算法性能为工业智能制造应用提供理论依据。实验仿真结果表明,文章提出的资源分配方案比平均分配方案性能更高,更适用于多任务卸载的时变的工业环境中。

摘要：交通信号工程控制一直是城市交通管理中至关重要的组成部分。研究以城市路网中的最小单元—单点交叉口作为研究对象,引入深度q学习算法,提出了一种新的动作空间设计方法,以解决传统方法难以应对交叉口各方向车流到达率不同的问题。研究通过融合贝叶斯与支持向量机,搭建行程时间预测模型。收集车辆路径数据,预测出行路径和相位需求。结果表明,两种交通状态的仿真实验中,在平峰时段研究所提控制方法在仿真时间超过400 s后,车辆平均延误基本稳定在32 s~35 s之间。该研究主要针对交通信号控制调控策略进行了分析,希望能提高道路交通效率,为城市居民提供方便及可持续的出行体验。

摘要：由于侦察干扰机设备具有发射功能,为使发射的干扰信号还具有探测的效果,考虑将探测信号隐藏在干扰信号中,提出一种基于非均匀间歇采样重复转发的探测干扰一体化信号波形。首先,建立一体化信号模型,并利用非均匀间歇采样重复转发技术实现幅度编码调制;然后,在优化过程中,从模糊函数以及雷达检测环节分析一体化信号的特征,根据距离、速度分辨率以及脉压后幅度的均值与标准差之比,构造相应的目标函数;最后,利用深度q学习算法求解目标函数,获取最优的幅度编码方式。仿真结果表明,当编码状态量小时,深度q网络(deep q-network,DqN)算法与强化学习算法收敛效果一致。与遗传算法相比,DqN算法最优解的质量提高了13.10%;当编码状态量增大时,相对于遗传算法和强化学习算法,DqN算法的收敛值更优,最优解更稳定。

摘要：微网作为智能电网的重要组成部分,其内部接入的能源种类逐渐丰富,使得系统运行状态多样,微网规划设计难度增大。为了分析微网容量配置的合理性,以降低运行成本为调度优化目标,提出了基于深度q学习方法的多类型能源优化调度方法,进而对不同规划方案下的微网最优运行策略进行了求解,并对不同方案的经济效益进行了比较。最后,对合肥某商业地区的实际算例进行了分析建模,设计了电能替代、水源热泵三联供、综合能源系统3种能源方案,比较了各能源方案下微网建设的经济性,并给出了该地区微网建设规划的方案建议。

摘要：针对目前建筑信息模型(BIM)消防疏散路径人工绘制的耗时问题,从提高设计效率出发,提出了一种基于深度q学习(DqN)与A*结合的混合算法,并以此开发了一种基于该算法的BIM疏散自动设计工具。首先,房间疏散路径使用A*算法进行绘制;然后使用改进的DqN算法确定楼层疏散中疏散门至安全出口的路径再以A*算法绘制。在DqN算法的基础上重新设计了奖励矩阵赋值及增加了奖励矩阵验证机制提高了绘制正确性;最后,使用以该算法为基础的疏散设计自动化工具对实际项目进行了实验。结果表明,该算法不仅能正确绘制路线并且比手工绘制效率提高2~3倍。通过服务器部署及硬件的升级为该算法效率进一步提升提供了可能。目前基于该算法的自动设计工具已在同济设计院上海建筑数字中心的多项实际项目中使用。

摘要：针对深度强化学习在噪声干扰环境下故障诊断鲁棒性差问题,提出了一种噪声干扰环境自适应的强化学习故障诊断方法。该方法以高效通道注意力机制-深度残差收缩网络为q网络基本模型,避免q网络结构复杂导致的梯度消失现象。采用高效通道注意力机制对深度残差收缩网络中软化阈值进行自适应调整,并在残差收缩单元的卷积层引入了膨胀卷积,以获取噪声环境下的不同尺度的故障特征信息,同时采用指数线性单元SELU作为激活函数,进一步提升网络对噪声的鲁棒性。设计了基于信噪比的量化奖励函数,结合双重q网络竞争学习机制与优先经验回放机制方法,进行智能体的自主学习,生成智能体的最优诊断策略,并运用于干扰环境下的设备故障状态识别。实例分析结果表明,采用所提方法对轴承与齿轮箱故障的识别准确率分别能到达98.13%和93.45%,且对不同强度噪声具有较好的鲁棒性与环境自适应性。