摘要：提出了一种分散式多智能体均衡算法(decentralized correlated equilibrium Q(?),DCEQ(λ))以解决新能源接入所带来的强随机环境下的互联电网自动发电控制。该算法以相关均衡概率选择机制平衡利用与探索,是一种典型的试错寻优且与模型无关的智能算法。在综合考虑分散式多智能体均衡算法在自动发电控制(automatic generation control,AGC)系统设计适用性的基础上,改进了多智能体算法的奖励函数;以区域控制偏差(area control error,ACE)实时绝对值赋予公平系数的方法设计了均衡选择函数;在分析了3种常用资格迹算法特点的基础上,融入了SARSA(λ)资格迹以有效解决火电机组等大延时环节所带来的时间信度分配问题。IEEE标准两区域频率响应模型与南方电网模型仿真研究表明,所提出的DCEQ(λ)控制器相对于单智能体Q(λ)控制器具有更好的控制性能,在控制过程中能有效消除ACE与控制性能标准(control performance standard,CPS)中的实时毛刺,显著提高互联电力系统的稳定性与鲁棒性。

摘要：随着我国高速铁路(简称:高铁)通达范围和行车密度的不断提高,运行计划调整日趋复杂,利用计算机和人工智能等技术手段辅助调度员制定阶段调整计划是高铁智能调度的发展趋势。高铁运行计划调整问题是一个多阶段决策问题,具有决策链长、规模大、约束多等特点,导致传统的强化学习方法Q学习算法的学习效率低、收敛缓慢。文章提出一种基于Q(λ)学习的高铁运行计划智能调整算法,采用累积式资格迹设计多步奖励更新机制,有效解决稀疏奖励下收敛慢的问题,目标函数设计中充分考虑了股道运用计划,更适合反应行车密度增大时到发线的使用情况。仿真实验表明,Q(λ)学习算法在学习效率、收敛速度和收敛结果上均优于传统的Q学习算法。