图像语义特征引导与点云跨模态融合的三维目标检测方法

作     者：李辉 王俊印 程远志 刘健 赵国伟 陈双敏 Li Hui;Wang Junyin;Cheng Yuanzhi;Liu Jian;Zhao Guowei;Chen Shuangmin

作者机构：青岛科技大学信息科学技术学院青岛266061 哈尔滨工业大学计算机学部哈尔滨150001 南开大学计算机学院天津300071 

基　　金：国家自然科学基金(62002190,61702295) 国家重点研发计划(2023YFF0612102) 山东省自然科学基金(ZR2020MF036) 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第5期

页      码：734-749页

摘      要：受到场景的复杂性和目标尺度变化、遮挡等影响,三维目标检测仍面临着诸多挑战.虽然跨模态特征融合图像和激光点云信息能够有效地提升三维目标检测性能,但在融合效果和检测性能上仍有待提升,为此,提出图像语义特征引导与点云跨模态融合的三维目标检测方法.首先设计图像语义特征学习网络,采用双分支自注意力并行计算方式,实现全局语义特征增强,降低目标错误分类;然后提出图像语义特征引导的局部融合模块,采用元素级数据拼接将检索的图像局部语义特征引导融合点云数据,更好地解决跨模态信息融合存在的语义对齐问题;提出多尺度再融合网络,设计融合特征与激光雷达点云交互模块,学习融合特征和不同分辨率特征间的再融合,提高网络的检测性能;最后采用4种任务损失实现anchor-free的三维目标检测.在KITTI和nuScenes数据集中与其他方法进行对比,针对三维目标检测准确率达87.15%,并且实验结果表明,文中方法优于对比方法,具有更优的三维检测性能.

主 题 词：三维目标检测 跨模态 语义特征 点云 无锚 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.3724/SP.J.1089.2024.19862

馆 藏 号：203130826...