摘要：航空移动机场通信系统(AeroMACS)因传输速率高、安全性好等优点成为机场、空地通信网络的重要组成部分。针对飞机起飞、着陆高速移动阶段的信道快速时变导致信道状态信息(CSI)过时和多普勒频移大等引起通信质量恶化的问题,利用多头自注意力机制,提出了基于Transformer神经网络的信道预测方法。根据实时预测的信噪比(SNR)来调整AeroMACS的WiMAX和5G双模的调制编码方案(MCS)。仿真结果表明,与其他3种人工智能方法相比,所提出的基于Transformer网络的信道预测方法能够达到较高的准确率,并提升了系统的总吞吐量,对缓解信道参数过时现状和提高系统通信性能具有良好的促进作用。

摘要：在推荐系统中,了解用户行为背后的复杂功能交互,对预测用户点击广告或商品的概率至关重要.人们一直努力寻找稀疏和高维原始特征的低维表示形式及有意义的组合.其中深度交叉网络可以显式地在每一层进行特征交叉,但其"一视同仁"地对待所有交叉特征,未考虑不同特征对结果的影响,造成一些有用信息被消除.因此提出了多头自注意力神经网络在双曲空间下的点击率预测模型.在双曲空间下,模型不再使用内积而使用洛伦兹距离违背三角不等式程度来度量特征之间的相似性与相关性,从而避免了维度灾难.实验表明,就模型准确性而言,其在点击率预测数据集上均优于深度交叉网络。

摘要：机器人抓取检测一直是机器人领域的研究热点,但机器人在复杂环境下执行多物体抓取任务时面临位姿估计不准确的问题。为了解决这一问题,提出了一种基于Transformer的抓取检测模型——PTGNet(pyramid Transformer grasp network)。PTGNet采用具有金字塔池化结构和多头自注意力机制的Transformer模块,其中,金字塔池化结构能够对特征图进行分割和池化,以捕获不同层次的语义信息并降低计算复杂度,多头自注意力机制通过强大的特征提取能力有效地提取全局信息,使得PTGNet更适用于视觉抓取任务。为了验证PTGNet的性能,基于不同数据集对PTGNet进行训练和测试,并在仿真和真实物理环境下基于PTGNet开展机械臂抓取实验。结果表明,PTGNet在Cornell数据集和Jacquard数据集上的准确率分别为98.2%和94.8%,表现出具有竞争力的优异性能;在多目标数据集下,相比于其他检测模型,PTGNet具有优秀的泛化能力;在PyBullet仿真环境下开展的单对象和多对象抓取实验中,机械臂的平均抓取成功率分别达到了98.1%和96.8%;在真实物理环境下开展的多对象抓取实验中,机械臂的平均抓取成功率为93.3%。实验结果验证了PTGNet在复杂环境中预测多物体抓取位姿的有效性和优越性。

摘要：基于卷积神经网络的方法在医学图像分割任务中取得了显著成果,但该方法固有的归纳偏置使其不能很好地学习全局和长距离的语义信息交互,而Transformer的优势是关注全局信息,两者可以优势互补。因此提出一种针对分割边缘利用Swin Transformer融合边缘感知的医学图像分割网络。设计基于上下文金字塔的边缘感知模块,用于融合全局的多尺度的上下文信息,针对边缘和角落等局部特征,利用浅层深度主干的特征产生丰富的边缘特征,因此提出的边缘感知模块可以尽可能多地产生边缘特征。在腹部多器官分割任务和心脏分割数据集的实验结果表明,该方法在各项指标中都有所提高。

摘要：【目的】针对用户一次购买多件物品的场景,为用户推荐下一次可能购买的多件物品。【方法】基于多头自注意力神经网络设计一种新的购物篮推荐方法,该方法使用多头自注意力机制捕捉购物篮中不同物品的关系以及融合物品属性信息,并使用具有注意力的循环神经网络建模购物篮序列信息。【结果】实验结果表明,本文方法优于传统推荐方法和现有基于深度学习的推荐方法,特别是在TaoBao数据集上F1值提升2%。【局限】本文方法仅提升了推荐结果的准确性,是否能够提升多样性还需进一步验证。【结论】多头自注意力能够更好地对购物篮进行建模,进而提升购物篮推荐效果。

摘要：在抗病育种中小麦赤霉病感染率是衡量籽粒抗性表型鉴定的重要衡量指标,针对目前小麦赤霉病感染率检测存在检测时间长、硬件成本高以及检测方式破坏植株等问题,设计了一种适用于麦穗籽粒此类小目标检测的深度学习网络模型——MHSA-YOLOv7。通过在原YOLOv7主干网络中融合多头自注意力(Muti-Head Self-Attention,MHSA)机制来提高模型对深层语义特征的提取能力,并使用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)实现模块间的跨层连接,使该模型能够提取和传递更丰富的特征信息。实验结果表明,MHSA-YOLOv7在小麦单穗赤霉病数据集上达到了90.75%的检测精度,相较于原YOLOv7模型,改进后的算法对于麦穗籽粒此类小目标物体具有更强的特征提取能力,检测精度、召回率、F1值、mAP@0.5以及mAP@0.5∶0.95分别提高了0.33%、1.83%、0.011、1.19%以及0.38%,有效满足了小麦赤霉病感染率的精确检测,为实现小麦植株病害走势的长期观测以及小麦籽粒抗性的准确评估提供了技术支持。

摘要：飞机在夜间起降时机场跑道上侵入的异物严重威胁航空运输安全,而暗光背景下依靠人工步行巡查小尺度异物更易留存致命的安全隐患。将智能视觉检测算法引入机场跑道异物入侵领域,针对现有模型倾向关注局部特征而造成检测精度低等问题,设计了一种融合自注意力特征嵌入的CSPTNet夜间机场跑道异物检测算法。为改善卷积神经网络关注局部特征而忽视全局特征的缺陷,将标准瓶颈模块替换为Transformer瓶颈模块,特征图子块扁平化分割后嵌入位置特征编码,有利于图像从像素表示转化为向量表示,在高维向量空间中捕捉像素间关系。采用多头自注意力机制从注意力分支子空间中获取不同分支聚合的特征信息,从而实现全局特征与局部特征信息的融合。针对数据集目标尺度较小导致轮廓边缘模糊以及定位困难等问题,引入CIoU损失函数以实现预测框尺寸和中心位置的修正优化,提高异物目标轮廓的定位精确性。实验结果表明,本文模型的检测速度达到38 frame/s,满足实时检测的要求;平均精度最高为88.1%,应用融合自注意力特征嵌入的Transformer模块相比于标准瓶颈模块提升5.7%,与当前先进的YOLOv5模型相比提升5.2%,从而验证了CSPTNet算法对夜间机场跑道异物检测的有效性和工程实用性。

摘要：现有的多维时间序列(mutivariate time series, MTS)预测模型大多关注序列变量间的时空依赖关系,没有考虑MTS各变量上取值的典型变化趋势,即局部上下文模式(local context pattern, LCP)。为此设计一种基于因果卷积自注意力和图卷积网络的MTS预测模型,通过多通道多尺度因果卷积提取MTS各变量的多尺度LCP特征,采用多头自注意力机制捕获多尺度LCP间的时序依赖关系,由图卷积网络提取多尺度LCP时序特征之间的空间依赖关系。在4个公开MTS数据集上的结果表明了该预测方法预测性能的优越性。

摘要：为了解决眼底血管分割中存在的分割效果不佳、数据过拟合和正负样本不均衡等问题,提出了一种转换器(Transformer)和多层感知机(MLP)结合的眼底血管分割算法。首先,为预防数据过拟合问题,训练图像在输入模型前会执行多种数据增强操作;其次,设计一个融合了卷积模块的Transformer组成多尺度编码器对图像进行特征提取,以此获得鲁棒的多级特征信息;最后,使用MLP结构的解码器对特征图完成像素级的分类。为解决正负样本不均衡的问题,引入了Tversky损失和二进制交叉熵损失的组合损失函数。所提算法在多个数据集上都取得了良好的实验结果,优于现有的其他网络模型算法。

摘要：为提高远程光体积描记术(remote photoplethysmography,rPPG)在自然场景中心率(heart rate,HR)估计的精度,提出一种基于多头自注意力的多任务心率估计模型。设计一种特征表示方法将视频转换为时空表示,抑制非皮肤区域和背景引入的噪声;使用改进的多头自注意力模型学习长距离帧之间的依赖关系,解决rPPG对光照变化和头部运动鲁棒性不足的问题;将学习到的特征用于估计rPPG信号和HR两个任务,通过rPPG信号的频域约束HR,提高心率估计精度。实验结果表明,提出方法在UBFC-RPPG和PURE两个公开数据集上的心率估计准确度优于对比方法,验证了其有效性。