摘要：大量分布式新能源的接入,导致配电网面临电压越限、网损增加等严峻挑战。针对无功电压控制问题,深度强化学习能够有效解决传统优化方法在模型依赖和求解速度方面的不足。然而现有深度强化学习方法在面对大规模配网复杂场景时,特征提取能力有限,控制效果欠佳,因此该文提出一种考虑自注意力和时序记忆的多智能体深度强化学习控制策略。首先,将无功电压控制问题建模为分布式部分可观测马尔可夫决策过程;其次,基于自注意力编码器和时序记忆神经元,设计了特征提取网络、辅助训练网络、改进策略网络和改进价值网络4种神经网络结构;然后,引入自监督学习,介绍所提算法的中心式训练和分布式执行过程;最后,在改进的IEEE 141节点配网系统上进行了算例测试。实验结果表明,所提控制策略能够有效提取状态特征、记忆时序信息、辨识关键元件,表现出更加优异的稳压减损控制效果,同时具有较好的鲁棒性、可解释性和训练稳定性。

摘要：针对LED光强分布不均导致室内可见光定位精度差异大的问题,结合序列到序列模型提出一种基于RSS指纹分析的室内可见光定位方法。将RSS指纹向量作为输入序列,室内三维空间坐标作为输出序列,采用序列到序列模型学习RSS指纹与室内三维空间之间的非线性映射关系。为序列到序列模型增加自注意力机制,利用自注意力机制分析RSS指纹中各元素对于不同位置的判别力高低,并在预测阶段调节各RSS元素的重要性。仿真结果表面,所提方法降低了不同信噪比条件下可见光定位的平均误差。

摘要：现有的多行为推荐模型忽略了不同行为之间存在的优化不平衡问题。为解决这一问题,提出了一种融入自注意力和对比学习的多行为推荐模型(multi-behavior recommendation integrating self-attention and contrastive learning,SACL)。首先,根据用户与商品的交互行为类型构建独立的交互视图,通过图神经网络挖掘用户与物品之间的关联关系,提取用户的不同行为特征和兴趣偏好特征。其次,在行为间与用户间进行对比学习,捕捉不同行为下的相同用户特征,增强辅助行为信息的利用率。然后,基于自注意力机制设计出一个多行为优化模块,根据用户的多行为特征以及对比学习特征设计定义不同的编码方式,生成具有行为依赖关系的元知识;设计了一个自注意多行为损失权重网络,根据元知识平衡不同行为的训练损失权重,从而区分对目标行为的影响差异并降低辅助行为噪声。提出的模型在Tmall和IJCAI-Contest数据集上进行的实验表明,相较于最优基线DPT,SACL的命中率(HR)平均提升了10%,归一化折损率(NDCG)平均提升了14%,验证了SACL模型对平衡优化多行为推荐任务的有效性。

摘要：针对遥感图像内容复杂、物体尺度差异较大和分布不均匀等因素导致遥感图像语义分割不完整、准确率低的问题,提出一种利用自注意力进行多尺度特征融合的遥感图像语义分割算法.该算法的主体基于编码-解码器结构,编码器使用Swin-Transformer模型来提取复杂的多尺度特征,解码器由自注意力多尺度特征融合模块和特征金字塔网络构成.首先,将提取的多个尺度的特征分别进行相应的调整,转换成相同尺度;并将其输入到自注意力多尺度特征融合模块,对图像的多尺度特征进行融合,以确保不同尺度的特征信息在语义分割中被充分利用;然后,使用特征金字塔从上往下对自注意力多尺度特征融合的结果进一步叠加融合;最后,预测特征图得到分割结果.在公开遥感图像语义分割数据集LoveDA上与主流算法进行比较,实验结果表明,该算法在单尺度策略下平均交并比达到52.77%,比次优结果提升了1.42个百分点;在多尺度策略下平均交并比为54.19%,比次优结果提升了1.47个百分点.该算法能够有效地融合多尺度特征提高分割精度.

摘要：准确的湿地分类可掌握湿地时空分异特征,在湿地研究中占据重要地位。针对现有基于小样本学习的湿地分类方法仅局限于利用目标域或单源域数据的问题,本文提出一种3D多源域自注意力小样本学习模型3DMDAFSL(3D Multi-source Domain self-Attention Few-Shot Learning)。首先,结合卷积和注意力机制的优势,设计基于自注意力机制和深度残差卷积的3D特征提取器;然后,采用对抗域自适应策略实现多源域特征对齐,在每个域分别进行小样本学习;最后,利用训练好的模型提取特征,并将特征输入至K近邻(K-nearest Neighbor)分类器以获取分类结果。结果表明,3D特征提取器相比无特征提取框架的湿地总体分类精度提升约6.79%;当使用多源域数据集时,3D-MDAFSL模型对中山市Sentinel-2湿地数据集的总体分类精度能达到93.52%,相比于现有算法有明显提升。本文所提出的3D-MDAFSL模型在湿地地物高精度提取和分类中有较好的应用价值。

摘要：无人机图像目标检测在诸多领域被广泛应用,但受制于图像背景复杂、目标密集,目标尺度变化剧烈,现有的无人机图像目标检测算法检测效果不够精准。为解决此类问题,提出了一种联合自注意力和分支采样的无人机图像目标检测方法。首先,设计了自注意力和卷积相融合的嵌套残差结构以实现全局信息和局部信息的有效结合,让模型聚焦于待测目标,从而淡化复杂背景的影响。其次,设计了一种基于分支采样的特征融合模块以弥补目标信息丢失。最后,引入浅层细粒度特征图,新增了针对微小目标的改进检测头以缓解尺度剧烈变化,并基于此提出一种特征增强模块,用于捕获更多具有鉴别性的小目标特征。经实验验证,本文所提算法在多种场景中性能良好。其中s模型在VisDrone2019数据集上的mAP50和mAP分别达到59.3%和37.1%,相较于基线模型增长了5.6%和5.4%,在UAVDT数据集上的mAP50和mAP分别达到44.1%和24.9%,相较于基线模型提高了5.8%和3.2%。

摘要：现有的图像压缩感知(Image Compressive Sensing,ICS)优化启发网络沿用了传统算法的像素域优化思想,构建了像素域的图像信息流动通道,而没有充分利用卷积神经网络所提取的图像特征中的信息.对此,本文提出了在特征域构建信息流的思想,并设计了一种特征域优化启发ICS网络(Feature-Space Optimization-Inspired Network,FSOINet)以实现该思想.考虑到卷积操作感受野较小,本文通过将自注意力模块引入FSOINet以更高效地利用图像非局部自相似性,进一步提高重构质量,我们将其命名为FSOINet+.此外,本文还提出把迁移学习策略应用于不同采样率图像压缩感知重构网络训练中,提高网络学习效率与重构质量.仿真实验表明,本文所提出的网络在峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index Measure,SSIM)与视觉效果上都优于现有的最优ICS重构方法,FSOINet与FSOINet+在Set11数据集上与OPINENet+相比重构图像PSNR分别平均提升了1.04 dB和1.27 dB.

摘要：为了提高草图和三维模型视图嵌入特征的聚类性,提出一种结合自注意力和哈希正则化约束的特征提取算法.首先将三维模型渲染得到二维视图集,并通过边缘检测在草图和视图之间建立统一的特征描述空间;然后在共享权重网络中嵌入自注意力层,通过结构信息自相关性编码提高草图和视图的聚类性,避免局部差异性对结果的影响;最后对特征进行哈希编码,并嵌入哈希正则化约束和交叉熵损失函数,避免特征值发散.对基准数据集SHREC13和SHREC14的实验结果表明,该算法在哈希自注意力端到端网络的检索准确率方面优于已有的典型算法,平均准确率性能提高了6%.

摘要：为确保源图像中的显著区域在融合图像保持显著,提出了一种自注意力引导的红外与可见光图像融合方法。在特征学习层引入自注意力学习机制获取源图像的特征图和自注意力图,利用自注意力图可以捕获到图像中长距离依赖的特性,设计平均加权融合策略对源图像的特征图进行融合,最后将融合后的特征图进行重构获得融合图像。通过生成对抗网络实现了图像特征编码、自注意力学习、融合规则和融合特征解码的学习。TNO真实数据上的实验表明,学习到注意力单元体现了图像中显著的区域,能够较好地引导融合规则的生成,提出的算法在客观和主观评价上优于当前主流红外与可见光图像融合算法,较好地保留了可见光图像的细节信息和红外图像的红外目标信息。

摘要：基于特征选择的网络流量异常检测引起了人们广泛的研究兴趣.现有的方案大多通过简单降低流量数据的维度来检测异常,却忽略了数据特征之间的相关性,导致异常流量检测效率低下.为了有效识别各种类型的攻击,首先提出了一种自注意力机制模型来学习网络流量数据多个特征之间的相关性.然后,设计了一种新型的多特征异常流量检测和分类模型,该模型分析了异常流量数据中多特征之间的相关性,达到检测与识别异常网络流量的目的.实验结果表明,与两种基准方法相比,所提出的技术将异常检测和分类的准确率提高了1.65%,并将误报率降低了1.1%.