BEV-radar:毫米波雷达-相机双向融合的三维目标检测

作     者：赵园 张露 邓家俊 张燕咏 Yuan Zhao;Lu Zhang;Jiajun Deng;Yanyong Zhang

作者机构：中国科学技术大学计算机科学与技术学院安徽合肥230027 合肥综合性国家科学中心人工智能研究院安徽合肥230088 悉尼大学电子工程系澳大利亚南威尔士州2006 

出 版 物：《中国科学技术大学学报》 (JUSTC)

年 卷 期：2024年第54卷第1期

页      码：2-9,1,I0001页

摘      要：在自动驾驶场景下的3D目标检测任务中,探索毫米波雷达数据作为RGB图像输入的补充正成为多模态融合的新兴趋势。然而,现有的毫米波雷达-相机融合方法高度依赖于相机的一阶段检测结果,导致整体性能不够理想。本文提供了一种不依赖于相机检测结果的鸟瞰图下双向融合方法(BEV-radar)。对于来自不同域的两个模态的特征,BEV-radar设计了一个双向的基于注意力的融合策略。具体地,以基于BEV的3D目标检测方法为基础,我们的方法使用双向转换器嵌入来自两种模态的信息,并根据后续的卷积块强制执行局部空间关系。嵌入特征后,BEV特征在3D对象预测头中解码。我们在nu Scenes数据集上评估了我们的方法,实现了48.2 m AP和57.6 NDS。结果显示,与仅使用相机的基础模型相比,不仅在精度上有所提升,特别地,速度预测误差项有了相当大的改进。代码开源于https://***/Etah0409/BEV-Radar。

主 题 词：三维目标检测 传感器融合 毫米波雷达 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.52396/JUSTC-2023-0006

馆 藏 号：203126703...