基于动态双注意力机制的跨模态行人重识别模型

作     者：李大伟 曾智勇 LI Dawei;ZENG Zhiyong

作者机构：福建师范大学计算机与网络空间安全学院福州350117 福建师范大学数字福建大数据安全技术研究所福州350117 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2022年第42卷第10期

页      码：3200-3208页

摘      要：针对跨模态行人重识别图像间模态差异大的问题,大多数现有方法采用像素对齐、特征对齐来实现图像间的匹配。为进一步提高两种模态图像间的匹配的精度,设计了一个基于动态双注意力机制的多输入双流网络模型。首先,在每个批次的训练中通过增加同一行人在不同相机下的图片,让神经网络在有限的样本中学习到充分的特征信息;其次,利用齐次增强得到灰度图像作为中间桥梁,在保留了可见光图像结构信息的同时消除了颜色信息,而灰度图像的运用弱化了网络对颜色信息的依赖,从而加强了网络模型挖掘结构信息的能力;最后,提出了适用于3个模态间图像的加权六向三元组排序(WSDR)损失,所提损失充分利用了不同视角下的跨模态三元组关系,优化了多个模态特征间的相对距离,并提高了对模态变化的鲁棒性。实验结果表明,在SYSU-MM01数据集上,与动态双注意聚合(DDAG)学习模型相比,所提模型在评价指标Rank-1和平均精确率均值(mAP)上分别提升了4.66和3.41个百分点。

主 题 词：跨模态 行人重识别 多输入双流网络 齐次增强 加权六向三元组排序损失 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.11772/j.issn.1001-9081.2021081510

馆 藏 号：203115472...