摘要：经典的强化学习算法主要应用于离散状态动作空间中.在复杂的学习环境下,离散空间的强化学习方法不能很好地满足实际需求,而常用的连续空间的方法最优策略的震荡幅度较大.针对连续空间下具有区间约束的连续动作空间的最优控制问题,提出了一种动作加权的行动者评论家算法(Action Weight Policy Search Actor Critic,AW-PS-AC).AW-PS-AC算法以行动者评论家为基本框架,对最优状态值函数和最优策略使用线性函数逼近器进行近似,通过梯度下降方法对一组值函数参数和两组策略参数进行更新.对两组策略参数进行加权获得最优策略,并对获得的最优动作通过区间进行约束,以防止动作越界.为了进一步提高算法的收敛速度,设计了一种改进的时间差分算法,即采用值函数的时间差分误差来更新最优策略,并引入了策略资格迹调整策略参数.为了证明算法的收敛性,在指定的假设条件下对AW-PS-AC算法的收敛性进行了分析.为了验证AW-PS-AC算法的有效性,在平衡杆和水洼世界实验中对AW-PS-AC算法进行仿真.实验结果表明AW-PS-AC算法在两个实验中均能有效求解连续空间中近似最优策略问题,并且与经典的连续动作空间算法相比,该算法具有收敛速度快和稳定性高的优点.

摘要：为解决连续空间追逃博弈(PEG)问题,提出一种基于多组并行深度Q网络(DQN)的连续空间PEG算法。应对连续行为空间中为避免传统强化学习存在的维数灾难不足,通过构建Takagi-Sugeno-Kang模糊推理模型来表征连续空间;为应对离散动作集自学习复杂且耗时不足,设计基于多组并行DQN的PEG算法。以4轮战车PEG问题为例设计仿真环境与运动模型,进行了运动计算,并与Q-learning算法、基于资格迹的强化学习算法、基于奖励的遗传算法结果相比对。仿真实验结果表明,连续空间PEG算法能够较好地解决连续空间PEG问题,且随着学习次数的增加不断提升问题处理能力,具备自主学习耗时少、追捕应用时间短的比较优势。

摘要：为解决神经网络直接逆控制中训练样本的获取问题 ,提出了一种神经控制器的设计方法。通过对连续空间遗传算法的编码和遗传算子进行适当改进 ,采用保留精英的线性排序选择 ,避免成熟前收敛 ,并给出算术交叉算子和乘法变异算子 ,使算法同时具有好的搜索精度和搜索效率 ;然后采用这种改进的遗传算法对非线性动态系统的控制进行优化 ,获得了基于一定性能指标的期望的状态轨迹及相应的最优控制序列 ,并以此训练神经网络控制器。最后给出了以同步机为控制对象的仿真结果。

摘要：对于基本蚁群算法(ACA)不适用求解连续空间问题,并且极易陷入局部最优的缺点,提出了一种基于自适应的蚁群算法。路径搜索策略采用基于目标函数值搜索筛选局部最优解的策略,确保能够迅速找到可行解。信息素更新策略采用自适应的启发式信息素分配策略,使算法能够快速收敛到全局最优解。对2个求函数极值问题进行优化并与其他算法进行比较,结果表明该算法能很好的应用于对连续对象的优化,同时具有较高的寻优精度高,搜索速率快,良好的全局优化性能。

摘要：作为一门结合时间与空间表现方式的综合艺术,电影以平面化的形式构成容纳各种多元化的“空间”概念,其中既有电影影像与叙事中的地理景观,又有观影者将平面投射为立体、将片段空间投射为连续空间的知觉作用,还有蕴含文化与历史的复杂空间景观书写等。在早期电影的分析与批评中,视觉本位的信息往往被故事的变化与主题压制,电影空间则作为故事或角色经历的一部分藏于幻想之中。随着近年来多学科研究的空间转向日益凸显,电影的空间形态表述逐渐演变为电影研究的新切入点之一。

摘要：针对目前飞行器优化设计领域遗传算法计算量大、效率低的情况,提出了基于连续空间蚁群算法的高超声速飞行器气动布局优化设计方法。蚁群算法是近年来发展的一种全新仿生算法,具有全局性和高效性等特点,已经成功地应用于离散空间的优化设计。采用连续空间蚁群算法,对高超声速飞行器进行了多变量、多约束下的气动布局优化设计,并与采用遗传算法和约束可变多面体法的优化结果进行了对比,指出了蚁群算法的优点。本文的研究可为蚁群算法应用于复杂、高维的大规模飞行器设计问题提供参考。

摘要：尝试将蚁群算法引入飞行器优化设计领域,为此建立了适用于高维、多目标、多约束优化问题的连续空间蚁群算法,并以高超声速飞行器气动布局的多目标优化设计为例进行了验证.优化设计结果与采用遗传算法得到的优化结果进行了对比,指出了蚁群算法的优点.该研究可为蚁群算法应用于复杂、高维的大规模飞行器设计问题提供参考.

摘要：针对强化学习中已有连续动作空间算法未能充分考虑最优动作的选取方法和利用动作空间的知识,提出一种对自然梯度进行改进的行动者评论家算法。该算法采用最大化期望回报作为目标函数,对动作区间上界和下界进行加权来求最优动作,然后通过线性函数逼近器来近似动作区间上下界的权值,将最优动作求解转换为对双策略参数向量的求解。为了加快上下界的参数向量学习速率,设计了增量的Fisher信息矩阵和动作上下界权值的资格迹,并定义了双策略梯度的增量式自然行动者评论家算法。为了证明该算法的有效性,将该算法与其他连续动作空间的经典强化学习算法在3个强化学习的经典测试实验中进行比较。实验结果表明,所提算法具有收敛速度快和收敛稳定性好的优点。

摘要：目的为提高闪存的整体操作性能和使用寿命,提出新型的闪存文件管理算法.方法在传统的文件管理系统的基础上加入了线性排序和连续空间功能,在文件存储之前完成闪存各部分利用程度和文件连续性的排序,使得新存储的文件放在利用率和连续程度最优的空间中.结果在相同操作的情况下,传统的文件管理系统只有前半部分甚至更少的空间被重复多次使用,而在笔者设计的系统中各个文件存储区域平均的存储文件,每部分的操作次数达到均衡,同时文件断开次数明显减少.结论笔者设计的管理系统优于传统系统,提高了文件的连续度,减少文件的读取时间,延长闪存的使用寿命.

摘要：针对连续空间中无法直接采用图论方法进行路径分析的问题,提出了基于四叉树思想构建的变分辨栅格模型.该模型不仅兼顾了地形表达精度与数据冗余度,而且避免了地物"边缘效应"的影响.在该模型基础上,设计了一种启发式有向搜索算法,该算法在搜索节点时,首先对相邻节点进行方向性选择,减少搜索空间,提高了算法的效率.实验结果表明,提出的模型及算法不仅能够求得连续空间中的最优路径,而且具有较高的计算效率.