摘要：研究供需不平衡环境下的应急物资动态分配问题.考虑到台风灾害演变导致应急物资需求不断增长与应急物资供应相对紧缺之间的矛盾,将需求的演变设计成一个马尔可夫决策过程,建立基于马尔可夫决策的应急物资动态分配模型.通过二进制粒子群优化算法求解,最后将所提出模型应用于某台风发生时的救灾实例.实例分析表明,马尔可夫决策方法可以动态地做出合适的需求扑灭策略,使得整体的需求演变趋势保持平稳,整体的需求水平降到最低.

摘要：分析了高速公路主线可变限速控制的作用,研究了现有的限速方法,将高速公路主线可变限速控制过程看作是离散时间的马尔可夫决策过程,提出基于强化学习与有限阶段马尔可夫决策的可变限速控制模型,通过与交通环境的交互学习进行模型的动态调整。采用有限阶段向后递归迭代的算法对模型进行求解,运用Paramics仿真软件对长吉高速公路全程进行仿真。仿真结果表明:在平均限速值低于设计时速6.25%的情况下,平均流量不仅没有降低反而增加了3.20%。可见,该模型可以有效提高交通流量,改善高速公路主线的交通状况。

摘要：以最小化卸载成本为目标,提出一种结合轨迹预测的任务卸载策略,将任务卸载转化为服务器节点选择问题。构建一种基于时间序列的车辆移动轨迹预测模型,将其表述为一个非线性回归任务;依据车辆位置信息与通信范围,提出一种基于最短通信距离的动态协作簇建立方法,利用服务器计算能力和传输成本均衡边缘网络负载,减少车辆移动形成的系统开销;利用马尔可夫决策过程,结合移动轨迹预测和动态边缘服务器簇设计任务卸载策略,解决多边缘服务器覆盖场景下的服务器选择问题。试验结果表明,所提算法与其他算法相比,任务卸载成本在简单与复杂移动轨迹下至少降低了80%和57.8%,有效减少多边缘服务器协作时的轨迹预测误差和成本开销。

摘要：为了适应嵌入式通信系统的资源匮性、多因素、异构性和对等性等特点，提出了动态多因素马尔可夫决策路由算（DMMDR），分析了算法的时间和空间复杂度并设计了路由的建立过程和链路状态的更新策略．研究结果表明，该算法能综合考虑各种因素，均衡和减少计算量和存储需求，并避免环路的产生．

摘要：随着高效实时物流的发展,不确定车辆路径问题面临着兼顾决策精度和实时响应能力的新挑战.本文以应用最为广泛的随机需求车辆路径问题为例,研究提出一种有效的在线决策方法.首先,考虑多车辆同时在线,以总旅行成本最小化为目标,建立马尔科夫决策模型,并引入可信度约束和邻域半径减少策略缩小行动空间,提高求解效率.其次,设计强化学习中的价值逼近算法求解模型,其中,采用基函数估计期望未来成本,并将求解过程分离为离线训练和在线决策两个环节,基函数的权重被离线训练并用于在线决策以减少在线决策时间,同时,在算法中嵌入了邻域半径的动态更新机制.最后,测试多组算例验证了本文方法的有效性.

摘要：针对当前无人机常用的“建图+规划”避障方法依赖于地图,构图模型参数适应性不强等问题,将无人机自主避障问题转化为强化学习框架下的决策控制问题,提出基于改进强化学习的无人机规避决策控制算法,并设计了适用于无人机导航避障控制任务的D3QN结构。实验结果表明,所设计的D3QN结构相比经典DQN结构可提升约25%的训练效率,经过训练之后的D3QN网络能根据视觉信息做出可靠的规避控制决策,能用于指导无人机在未知无图等典型场景中进行无碰撞的探索飞行或导航飞行。

摘要：以换电模式为电动汽车(EV)提供能源补给是促进EV行业发展的重要保障。为了评估EV换电站的运营模式、提高EV换电站的运营效益,提出了一种基于自供给模式的EV换电站供需均衡运营策略。针对未来可行的统一化电池规格和换电站自供给模式,EV既可作为电池消费者,又可作为电池服务提供者,通过设计换电站的动态奖励机制,以吸引EV用户充当电池服务提供者辅助换电站提供换电服务,并基于带约束的马尔可夫决策框架对系统的随机优化问题进行建模。算例结果表明所提策略能使换电站自适应地选择给予电池服务提供者的奖励,从而在满足换电站服务质量水平约束的条件下最大化换电站的运营效益。

摘要：现阶段图神经网络被广泛应用于欺诈检测,由于欺诈检测中往往存在类不平衡问题,导致基于图神经网络模型性能不佳。针对上述问题,设计一种基于图神经网络的不平衡欺诈检测模型。该模型细化了图结构数据中存在的邻域不平衡和中心不平衡两个不平衡的概念。在邻域不平衡中,通过多层感知机和高斯核函数衡量中心节点与其邻域节点的非欧氏空间距离(相似度),基于马尔可夫决策动态更新采样阈值对邻域节点进行多层自适应欠采样,并在每一层中仅聚合其原始特征和前一层的隐藏嵌入得到中心节点的目标嵌入;在中心不平衡中,引入加权交叉熵损失函数为每个中心节点的损失设置动态权重以达到中心平衡。在Yelp和Amazon两个数据集上的实验结果表明,该模型的曲线下面积(AUC)、召回率(Recall)两个指标相较于最优基准模型均有显著提升,在两个数据集上的AUC和Recall分别提升了5.52%、5.42%和1.57%、4.31%。

摘要：针对共享单车的调度问题,在考虑预算限制、用户最大步行距离限制、用户时空需求以及共享单车分布动态变化的情况下,提出一种用户激励下的共享单车调度策略,以达到提高共享单车平台长期用户服务率的目的。该调度策略包含任务生成算法、预算分配算法和任务分配算法。在任务生成算法中,使用长短期记忆(LSTM)网络预测用户未来的单车需求量;在预算分配算法中,采用深度策略梯度(DDPG)算法来设计预算分配策略;任务分配完预算后,需要将任务分配给用户执行,因此在任务分配算法中使用贪心匹配策略来进行任务分配。基于摩拜单车的数据集进行实验,并把所提策略分别与无预算限制的调度策略(即平台不受预算限制,可以使用任意金钱激励用户将车骑行至目标区域)、贪心的调度策略、卡车拖运下的调度策略以及未进行调度的情况进行对比。实验结果表明,与贪心调度策略和卡车托运下的调度策略相比,用户激励下的共享单车调度策略能有效提高共享单车系统中的用户服务率。

摘要：设计了一种新型的燃料电池混合超级电容的城市客车动力系统结构,在理论计算和工程分析的基础上,对该动力系统进行了参数匹配。提出一种基于随机动态规划的燃料电池城市客车能量管理策略的设计思想,将驾驶员需求功率模拟为一个离散的随机动态过程,并建立相应的马尔可夫模型,在此基础上采用策略迭代的算法对能量管理策略进行了优化。并对优化后的策略进行仿真,结果表明该策略下的整车燃料经济性有明显提高。