基于残差增强注意力的跨模态行人重识别

作     者：邵文斌 刘玉杰 孙晓瑞 李宗民 SHAO Wen-bin;LIU Yu-jie;SUN Xiao-rui;LI Zong-min

作者机构：中国石油大学(华东)计算机科学与技术学院山东青岛266580 

基　　金：国家重点研发计划项目(2019YFF0301800) 国家自然科学基金项目(61379106) 山东省自然科学基金项目(ZR2013FM036,ZR2015FM011) 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2023年第44卷第1期

页      码：33-40页

摘      要：跨模态行人重识别主要面临2个问题:(1)成像机制不同所导致的红外图像和可见光图像之间的模态差异;(2)图像特征的身份判别性不足导致的类内差异。针对上述2个问题,基于残差增强注意力的跨模态行人重识别方法被提出用来提高行人特征的模态不变性和身份判别性。首先,设计网络浅层参数独立、网络深层参数共享的双路卷积神经网络作为骨干网络。然后,分析现有注意力机制存在的全局弱化,设计了残差增强注意力方法解决该问题,提升注意力机制的性能,将其分别应用在网络浅层的通道维度和深层的空间位置上,提升模型对于模态差异的消除能力和行人特征的身份鉴别能力。在SYSU-MM01和RegDB2个数据集上进行的实验证明了该方法的先进性,大量的对比实验也充分证明本文方法的有效性。

主 题 词：行人重识别 残差增强 注意力机制 模态不变性 神经网络 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.11996/JG.j.2095-302X.2023010033

馆 藏 号：203118253...