摘要：哺乳动物的运动学习机制已得到广泛研究,犬科动物可以根据环境反馈的引导性信息自主地学习运动技能,对其提供更为特定的训练引导可以加快其对相关任务的学习速度.受上述启发,在软演员-评论家算法(SAC)的基础上提出一种基于期望状态奖励引导的强化学习算法(DSG-SAC),利用环境中的状态反馈机制来引导四足机器人进行有效探索,可以提高四足机器人仿生步态学习效果,并提高训练效率.在该算法中,策略网络与评价网络先近似拟合期望状态观测与当前状态的误差,再经过当前状态的正反馈后输出评价函数与动作,使四足机器人朝着期望的方向动作.将所提出算法在四足机器人上进行验证,通过实验结果可知,所提出的算法能够完成四足机器人的仿生步态学习.进一步,设计消融实验来探讨超参数温度系数和折扣因子对算法的影响,实验结果表明,改进后的算法具有比单纯的SAC算法更加优越的性能.

摘要：生理学研究发现,大鼠进行空间定位依赖内嗅—海马CA3结构中的网格细胞与位置细胞,而内嗅—海马结构与前额叶皮层之间的动态联系是导航的关键。基于此,本文提出一种仿鼠脑内嗅—海马—前额叶信息传递回路的空间导航方法,旨在为移动机器人赋予强大的空间导航能力。在海马CA3—前额叶空间导航模型的基础上,本文构建以海马CA1区位置细胞为基本单元的动态自组织模型优化导航路径。随后通过海马CA3区位置细胞与前额叶皮层动作神经元将优化后的路径回馈至脉冲神经网络,提高模型收敛速度的同时还有助于建立导航习惯的长期记忆。为验证方法的有效性,本文分别设计了二维仿真实验和三维仿真平台的机器人实验。实验结果表明:本文方法不仅能够在导航效率、收敛速度等方面超越其他算法,而且对动态变化的导航任务具有较好的适应性。同时,本文方法还能够很好地应用在移动机器人平台上。

摘要：舌色是中医(TCM)望诊最关注的诊察特征之一。在实际应用中,通过一台设备采集到的舌象数据训练得到的舌色分类模型应用于另一台设备时,由于舌象数据分布特性不一致,分类性能往往急剧下降。为此,该文提出一种基于双阶段元学习的小样本中医舌色域自适应分类方法。首先,设计了一种双阶段元学习训练策略,从源域有标注样本中提取域不变特征,并利用目标域的少量有标注数据对网络模型进行微调,使得模型可以快速适应目标域的新样本特性,提高舌色分类模型的泛化能力并克服过拟合。接下来,提出了一种渐进高质量伪标签生成方法,利用训练好的模型对目标域的未标注样本进行预测,从中挑选出置信度高的预测结果作为伪标签,逐步生成高质量的伪标签。最后,利用这些高质量的伪标签,结合目标域的有标注数据对模型进行训练,得到舌色分类模型。考虑到伪标签中含有噪声问题,采用了对比正则化函数,可以有效抑制噪声样本在训练过程中产生的负面影响,提升目标域舌色分类准确率。在两个自建中医舌色分类数据集上的实验结果表明,在目标域仅提供20张有标注样本的情况下,舌色分类准确率达到了91.3%,与目标域有监督的分类性能仅差2.05%。

摘要：污水处理过程(Wastewater treatment process,WWTP)是一个包含多个生化反应的复杂过程,具有非线性和动态特性.因此,实现污水处理过程的精准控制是一项挑战.为解决这个问题,提出一种基于自组织递归小波神经网络(Selforganized recurrent wavelet neural network,SRWNN)的污水处理过程多变量控制.首先,针对污水处理过程的动态特性,根据小波基的激活强度设计一种自组织机制来动态调整递归小波神经网络控制器的结构,提高控制的性能.然后,采用结合自适应学习率的在线学习算法,实现控制器的参数学习.此外,通过李雅普诺夫稳定性定理证明此控制器的稳定性.最后,采用基准仿真平台进行仿真验证,实验结果表明,此控制方法可以有效提高污水处理过程的控制绝对误差积分(Integral of absolute error,IAE)和积分平方误差(Integral of squared error,ISE)的精度.

摘要：为提升机器人在杂乱环境中推抓协同性能、增强网络感知物体位置和物体间的位置信息的能力,提出一种基于物体位置信息的推动与抓取协同网络来解决机器人在杂乱环境中的抓取问题。该网络使用2个全卷积网络分别从视觉观察中推断出抓取和推动操作的位置与方向。使用坐标注意力模块分别沿着二维空间的2个方向聚合特征,即在水平空间方向上捕获长距离依赖关系的同时在垂直空间方向上保持物体的位置信息。然后生成推动和抓取的位置特征的注意力图,以提升网络推断操作位置的准确性。提出物体分散度从全局角度衡量环境中物体间的分散程度,并设计基于物体分散度的推动奖励函数来提升推动动作的质量。在仿真实验中,该网络的抓取成功率和动作效率分别为75.1%和73.2%。在现实世界中,该网络的抓取成功率和动作效率分别为80.1%和76.2%。

摘要：自适应评判技术已经广泛应用于求解复杂非线性系统的最优控制问题,但利用其求解离散时间非线性随机系统的无限时域最优控制问题还存在一定局限性.本文融合自适应评判技术,建立一种数据驱动的离散随机系统折扣最优调节方法.首先,针对宽松假设下的非线性随机系统,研究带有折扣因子的无限时域最优控制问题.所提的随机系统Q-learning算法能够将初始的容许策略单调不增地优化至最优策略.基于数据驱动思想,随机系统Q-learning算法在不建立模型的情况下直接利用数据进行策略优化.其次,利用执行−评判神经网络方案,实现了随机系统Q-learning算法.最后,通过两个基准系统,验证本文提出的随机系统Q-learning算法的有效性.

摘要：考虑到城市污水处理系统存在保证出水水质达标和降低能耗的需要,将其运行过程视为一个多目标优化控制问题.针对此问题,提出一种基于多目标粒子群优化(Multi-objective particle swarm optimization,MOPSO)算法的污水处理系统自适应评判控制方案,该方案分为上层优化和底层跟踪控制两部分.首先,污水处理过程存在非线性、多变量、大时变等特点,结合数据驱动思想对入水及出水组分数据进行分析,构建关于出水水质和运行能耗的多目标优化模型.采用径向基函数(Radial basis function,RBF)神经网络进行建模,并与反向传播(Back propagation,BP)神经网络进行了对比.然后,结合MOPSO算法强大的优化能力,采用MOPSO算法对优化目标进行求解,并设计一个决策方式从最优解集中选出偏好解,作为溶解氧与硝态氮浓度的最优设定值.接下来,底层跟踪控制部分采用基于自适应动态规划的辅助控制器对比例–积分–微分算法的控制策略进行补充,弥补了传统控制算法自适应能力差的不足.此外,比例–积分–微分算法也为自适应动态规划算法提供了初始的稳定控制策略,克服了学习算法前期控制效果差的缺陷,保证了污水处理过程的安全性和可靠性.最终,该控制器成功实现了对最优设定值的跟踪控制.将所提算法在污水处理基准仿真平台上进行验证,结果表明所提算法能有效地提高污水处理过程的运行性能,不仅能保证出水水质达标,同时能有效地降低污水处理过程产生的能耗.

摘要：脱硫过程是具有高度动态非线性和较大延迟时间的复杂工业过程,为了解决烟气脱硫过程的建模问题,设计了注意力机制下的深度长短期记忆(attention mechanism-based long short-term memory,AttLSTM)网络,并基于该网络设计自动编码器,完成脱硫过程异常点的检测。该文首次提出使用AttLSTM网络自编码器对脱硫过程进行离群点检测,并且该网络模型同样首次应用于脱硫过程的辨识任务中。从更深的意义上讲,该文尝试使用深度学习模型对复杂系统进行辨识,所建立的AttLSTM网络之前未出现在系统辨识领域,该网络的出现可以丰富辨识模型的选择,同时为人工智能技术在系统辨识领域和控制领域的应用与推广提供参考。实验结果表明,相比于之前文献出现的脱硫过程建模方法,所提方法在不同性能指标上均具有更好的表现,由此可以证明深度AttLSTM网络在脱硫场景下的有效性。

摘要：针对现有的污水处理过程存在碳排放机理不清且难以评估,无法通过有效的调控方式降低碳排放总量的问题,设计了一种数据驱动的污水处理曝气过程低碳优化控制方法。首先,通过深入分析碳排放影响因素及其与水质指标的相互关系,获得了曝气过程各水质指标和碳排放之间的关联关系;其次,采用数据驱动的方法,设计了曝气过程能耗与碳排放的优化模型,以获取曝气过程最优化的控制策略;最后,将获取的曝气过程低碳优化控制方法应用于基准仿真模型。测试结果说明该方法能够有效地跟踪控制曝气过程,降低能耗与碳排放量总量。

摘要：视频数据在存储与网络传输时,通常使用标准压缩算法对原始视频进行压缩。针对压缩后视频存在压缩伪影导致视频质量下降的问题,本文提出一种基于深度学习的后处理方法提高压缩视频质量。首先,提出一种新的三维卷积时空融合网络(3D-CSTF),通过三维卷积的滤波特性提取连续视频帧之间的时空信息,并利用视频帧之间信息的强相关性来提高视频质量。其中,设计了一种用于映射和提取视频帧特征的质量增强网络(Qe-Net)。其次,将7个连续的视频帧送到网络进行端到端训练,利用前3帧和后3帧的信息增强当前帧。最后,在MFQE数据集上进行训练和测试。实验结果表明,该方法在视频质量评估标准峰值信噪比(PSNR)上取得了良好的性能。当量化参数(QP)等于37、32、27和22时,相比压缩后的视频,PSNR分别增加0.82 dB、0.83 dB、0.79 dB和0.74 dB。