多模态特征融合和自蒸馏的红外-可见光行人重识别

作     者：万磊 李华锋 张亚飞 Wan Lei;Li Huafeng;Zhang Yafei

作者机构：昆明理工大学信息工程与自动化学院昆明650500 

基　　金：国家自然科学基金(62161015 61966021) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第7期

页      码：1065-1076页

摘      要：现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机制,为各模态的自有特征赋予较大的融合权重,共有特征赋予较小的融合权重,得到含有各模态判别性自有特征的多模态融合特征;为了提升网络特征的鲁棒性以适应行人外观的变化,构建一个记忆存储器来存储行人的多视角特征;还设计了一种自蒸馏无参数动态引导策略,在多模态融合特征和多视角特征的引导下,利用该策略动态强化网络的多模态推理和多视角推理能力;最后网络能够从一个行人的单模态图像推理出另一模态不同视角行人特征,提升模型跨模态行人重识别的性能.基于PyTorch深度学习框架,在公开数据集SYSU-MM01和RegDB上与当前主流的方法进行对比实验,结果表明,所提方法的Rank-1分别达到63.12%和92.55%, mAP分别达到61.51%和89.55%,优于对比方法.

主 题 词：跨模态行人重识别 特征融合 注意力机制 记忆存储机制 自蒸馏 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.3724/SP.J.1089.2024.19886

馆 藏 号：203143372...