摘要：在移动边缘计算(MEC)网络架构中,用户能够以较低的网络延时访问服务,当用户发生移动时,为保证服务的连续性以及业务的服务质量,需要引入服务迁移策略。为解决此问题,将服务迁移问题建模为马尔科夫决策过程(MDP),用户移动模型采用二维随机行走模型,构造基于迁移成本与传输成本的收益函数,基于贝尔曼方程的长期收益值更新迁移策略,得出最优迁移策略。仿真结果表明,所提算法与传统服务迁移策略相比,在保证服务连续性的同时降低了总成本,降低了用户移动对后续服务质量的影响。

摘要：本文基于马尔科夫决策过程提出一种燃料电池汽车最优等效氢燃料消耗控制策略.控制策略以部分观测量为基础,以马尔科夫转移概率矩阵为条件,采用基于蒙特卡洛马尔科夫(MCMC)算法的Metropolis-Hastings采样方法,获得平均奖励输出,进而通过最优氢燃料消耗代价函数的优化以控制在氢燃料电池系统和动力电池系统间进行能量分配.该策略避免了目前燃料电池汽车控制策略过度依赖未来需求功率的预测以及预测模型的准确性.在建立燃料电池汽车动力模型,燃料电池系统和动力电池系统模型的基础上,进行了包含自学习系统、基于MH采样的平均奖励过滤系统以及控制选择输出系统的控制策略设计.通过仿真和实验结果表明基于马尔科夫决策控制策略的有效性.

摘要：目的针对当前三维装箱算法存在的模型鲁棒性差、泛化性弱、装载率低等问题,设计一种无监督融合机制的在线装箱算法。方法充分考虑货物“即到即码”的实时性需求,以容器空间利用率为优化目标,基于无监督深度融合指针网络端到端学习模型框架,将在线三维装箱的码垛过程公式化地表述为马尔科夫决策过程,设计强化学习要素,并以深度强化学习算法为主,融入蒙特卡洛树搜索,对智能体的决策动作进行训练,以生成具有较优“学习”能力的在线三维装箱模型。结果采用125种不同尺寸和方向随机生成货物数据集,并在7种约束条件下验证,实验结果表明,容器的平均利用率可达84.6%。结论该算法的泛化性较好,且其装载率远优于当前效果较好的启发式算法、深度学习方法,为货物的在线装箱提供了理论依据及参考。

摘要：针对大气层内高速机动目标的拦截问题,提出了一种基于双延迟深度确定性策略梯度(TD3)算法的深度强化学习制导律,它直接将交战状态信息映射为拦截弹的指令加速度,是一种端到端、无模型的制导策略。首先,将攻防双方的交战运动学模型描述为适用于深度强化学习算法的马尔科夫决策过程,之后通过合理地设计算法训练所需的交战场景、动作空间、状态空间和网络结构,并引入奖励函数整形和状态随机初始化,构建了完整的深度强化学习制导算法。仿真结果表明:与比例导引和增强比例导引两种方案相比,深度强化学习制导策略在脱靶量更小的同时能够降低对中制导精度的要求;具有良好的鲁棒性和泛化能力,并且计算负担较小,具备在弹载计算机上运行的条件。

摘要：当前中国农田集群和能源短缺现状极大地促进了混合动力拖拉机的推广与使用,然而混动拖拉机动态变载荷工况加大了整机功率的耦合与分流难度。为此,该研究以发动机和双电机为动力源,利用图论原理设计出满足全功率范围作业需求的两种动力系统耦合分流构型。此外,为实现整机的高能效目的,提出了基于马尔科夫决策的能量管理策略:首先根据拖拉机的载荷谱对整机作业环境进行辨识,采集犁耕作业环境下的拖拉机工作参数将需求功率抽象为马尔科夫决策中的状态转移过程;然后将整机能耗作为最优控制的成本函数,通过价值迭代函数求解最优控制律下电机2的工作区间。最后,采用硬件在环试验对提出的能量管理策略进行了有效性和可行性验证。试验结果表明,相比于传统基于规则的能量管理,提出的能量管理试验策略降低了7.2%的油耗。所设计的耦合分流构型拓展了拖拉机动力系统能量流的路径,直接耦合分流构型拟替代传统动力换挡的技术难点。能量管理策略在能效特性方面有一定优势,所提出的耦合分流动力构型为突破大马力拖拉机动力换挡的卡脖子技术提供了参考。

摘要：瑞雷波频散曲线反演是获取地表横波波速的关键步骤,现有线性反演方法的效果取决于初始模型的选择,非线性反演也存在效率低、多解等问题.为了进一步提高瑞雷波频散曲线反演的速度与精度,受深度学习卓越非线性映射能力启发,本文提出了瑞雷波频散曲线的深度学习反演方法.文中首先基于近地表速度结构的遍历属性和演化特征的有序性,提出了约束马尔科夫决策的样本数据构建方法;然后设计了一种卷积神经网络衔接长短时记忆网络的混合网络结构(CNN-LSTM),用于构建频散序列数据到速度结构的非线性映射关系,该网络结构包含了3个局部特征学习模块和1个长短时记忆层;再利用样本数据对混合网络进行训练;最后进行反演预测.理论模型试验的频散曲线在无噪与含噪情况下,拟合的平均相对误差分别不超过5.6%和8.9%,表明本文所提方法具有较高的计算精度和良好的鲁棒性.最后,将本文方法应用于2008年汶川M_(W)7.9地震白鹿镇同震地表破裂带的瑞雷波勘探中,为其浅表同震变形的局部化效应提供了科学约束.

摘要：将呈现随机"好"、"坏"状态跳变的深空Ka频段链路噪声温度建模为两状态Gilbert-Elliot信道,考虑深空下行发送端只能获得延迟的信道状态信息(CSI)的限制,结合部分观测马尔科夫决策理论设计了基于延迟CSI预测信道状态的自适应最大化吞吐量传输策略。理论推导了在深空通信环境下最优传输策略的关键阈值,并给出了简化的闭合解计算式。通过地球-火星通信参数仿真,校验了该方案能有效提高吞吐量,提高文件传输效率。

摘要：分拣机器人的避障决策过程较为复杂,为提高分拣机器人的工作效果,设计基于神经网络深度强化学习的分拣机器人避障规划技术。首先,在动力学场景中设置障碍物,利用马尔科夫决策过程获取分拣机器人的运动状态后,判断障碍目标。在对神经网络实施深度优化学习后,设置了导引奖赏机制,并结合人工势场法建立连续型奖励函数,引导机器人向正确方向运动。将分拣机器人运动状态输入到神经网络中,在导引奖赏机制的引导下实现分拣机器人的避障。在环境中设置了障碍物,实现环境搭建,仿真测试实验结果表明:该方法具有较高的避障能力,可引导机器人在运动过程中做出正确的动作,进而实现精准避障。

摘要：马尔科夫决策多目标跟踪算法在目标遮挡和目标消失再出现等情况下容易丢失目标,无法进行持续有效的跟踪。利用核相关滤波器较强的判别能力,提出了一种基于核相关滤波优化的马尔科夫决策在线多目标跟踪算法。结合核相关滤波器增强跟踪目标的特征表达,先对跟踪点集合进行改进,在均匀分布点的基础上加入目标表达能力更强的Harris角点;设计一个归一化交叉相关相似性分数,利用在线学习存储的目标模板对中值流(Median Flow)跟踪和核相关滤波(Kernel Correla⁃tion Filter,KCF)算法预测的目标位置进行分析,优化最终目标输出位置;通过在核相关滤波器加入高置信度模型更新策略,结合中值流跟踪稳定性作为跟踪器评判标准,判断目标继续保持跟踪还是转为丢失状态。在2D MOT 2015测试集与马尔科夫决策(Markov Decision Process,MDP)跟踪器进行比较,主要跟踪性能参数有显著提高。