FMA-DETR:一种无编码器的Transformer目标检测方法

作     者：周全 倪英豪 莫玉玮 康彬 张索非 ZHOU Quan;NI Yinghao;MO Yuwei;KANG Bin;ZHANG Suofei

作者机构：南京邮电大学通信与信息工程学院江苏南京210003 南京邮电大学物联网学院江苏南京210003 

基　　金：国家自然科学基金面上项目(61876093,62171232) 江苏省研究生实践创新项目(KYCX22_0962) 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2024年第40卷第6期

页      码：1160-1170页

摘      要：DETR是第一个将Transformer应用于目标检测的视觉模型。在DETR结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比DETR参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-DETR)实现了与DETR相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

主 题 词：目标检测 Transformer 编码器 DETR 混合注意力 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16798/j.issn.1003-0530.2024.06.015

馆 藏 号：203128282...