摘要：在庞大离散状态空间或连续状态空间中,强化学习(RL)需要进行值函数拟合以寻找最优策略.但函数拟合器的结构往往由设计者预先设定,在学习过程中不能动态调整缺乏自适应性.为了自动构建函数拟合器的结构,提出一种可以进行状态自动划分的模糊小脑模型关节控制(FCMAC)值函数拟合方法.该方法利用Bellman误差的变化趋势实现状态自动划分,并且探讨了两种选择划分区域的机制.汽车爬坡问题和机器人足球仿真平台中的实验结果表明新算法能有效拟合值函数,而且利用所提出的函数拟合器智能体可以进行有效的强化学习.

摘要：因网约车订单派送不合理,导致资源利用率和出行效率降低。基于联合Q值函数分解的框架,提出两种订单派送方法ODDRL和LF-ODDRL,高效地将用户订单请求派送给合适的网约车司机,尽可能缩短乘客等待时间。为捕获网约车订单派送场景中随机需求与供应动态变化关系,把城市定义为一张四边形网格的地图,将每辆车视为一个独立的智能体,构建多智能体马尔可夫决策过程模型,通过最大化熵与累计奖励训练智能体。将多智能体的联合Q值函数转化为易分解函数,使联合Q值函数与单个智能体值函数中的动作具有一致性,同时设计动作搜索函数,结合集中训练、分散执行策略的优点,让每辆车以分布式的方式解决订单匹配问题,而不需要与其他车辆进行协调,从而降低复杂性。实验结果表明,相比Random、Greedy、QMIX等方法,所提ODDRL和LF-ODDRL具有较优的扩展性,其中,在500×500网格上,当乘客数为10、车辆数为2时,相对于QMIX方法接送乘客所产生的总时间分别缩短5%和12%。

摘要：针对卫星自主运行任务调度问题的特点,设计了一种基于遗传的新的调度算法。以卫星对地拍照任务作为仿 真实例,对算法的编码方式和解码规则、初始群体的产生方法、适值函数、遗传算子进行了详细的描述。计算结果表 明,同精确算法相比,该调度算法能很好地解决卫星自主运行任务调度问题。

摘要：针对现有爬壁机器人规划算法难以实现在线自适应高效规划的问题,设计了一种基于模糊K-Means算法和经典Sarsa(λ)算法自适应爬壁机器人规划算法;首先,对爬壁机器人的动力学模型进行了建模和分析,然后,对爬壁机器人规划中的状态进行自适应聚集从而实现值函数的近似,设计了K值可变的改进模糊K均值聚类算法对状态进行自适应地在线聚类,将聚类中心对应的值函数作为整个聚类所有数据对象的值函数的近似值,最后,对基于模糊K均值聚类算法和Sarsa(λ)算法的爬壁机器人在线规划算法进行了定义和描述,在MATLAB环境下对简单障碍物场景和复杂障碍物场景分别仿真实验,实验结果表明文中方法能有效地进行路径规划,随着情节数的增加,规划结果逐渐收敛到最优值,同时在环境变化时,收敛效果不受影响,具有较好的稳定性,是一种高效地实现爬壁机器人在线规划的方法。

摘要：2017年,北京市高考数学试卷出现了一道含max最值函数的试题,这类含有max或min最值函数问题近年常出现在高考甚至竞赛中,因其设计新颖、表达抽象、内容涉及面广、难度较大、多数学生难于正确解答而著称.探索如何有效开展这类最值函数的教与学意义深远.