基于互相关-Transformer双层特征融合的目标跟踪算法

作     者：李子万 范慧杰 王强 于祯成 唐延东 LI Ziwan;FAN Huijie;WANG Qiang;YU Zhencheng;TANG Yandong

作者机构：沈阳化工大学信息工程学院辽宁沈阳110142 中国科学院沈阳自动化研究所机器人学国家重点实验室辽宁沈阳110016 中国科学院机器人与智能制造创新研究院辽宁沈阳110169 中国科学院大学北京100049 沈阳大学辽宁省装备制造综合自动化重点实验室辽宁沈阳110096 

基　　金：国家自然科学基金(U20A20200,62273339) 中国科学院青年创新促进会项目(2019203) 

出 版 物：《机器人》 (Robot)

年 卷 期：2024年第46卷第1期

页      码：16-26页

摘      要：当前算法主要使用互相关操作和Transformer中的一种方法来设计特征融合网络,这种策略忽视了二者之间的优势互补,容易丢失语义信息,陷入局部最优。针对上述问题,设计了一种基于互相关-Transformer双层特征融合的目标跟踪算法,使用改进的互相关操作和Transformer方法分别对模板和搜索区域特征进行融合,实现两种融合方式的优势互补,使模板和搜索区域特征充分交互,实现特征的有效增强和充分融合,并在互相关操作中引入相似矩阵来增强模板和搜索区域中与当前帧中的目标有关联的特征,使互相关操作的匹配过程更加准确。该目标跟踪算法包括一个基于Swin-Transformer的主干网络,一个互相关和Transformer双层融合模块,一个预测分支。提出的算法在TrackingNet、LaSOT、NFS、UAV123和OTB2015五个数据集上取得了鲁棒的效果,分别达到81.8%、65.7%、66.2%、69.4%和69.8%的成功率,平均跟踪速度达到40帧/秒。

主 题 词：目标跟踪 Transformer法 互相关 特征融合 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

核心收录：

D　O　I：10.13973/j.cnki.robot.230005

馆 藏 号：203125665...