多模态特征融合的行人检测算法

作     者：陈舒静 蒙祖强 CHEN Shu-jing;MENG Zu-qiang

作者机构：广西大学计算机与电子信息学院广西南宁530004 

基　　金：国家自然科学基金项目(62266004) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第10期

页      码：3017-3025页

摘      要：针对红外图像清晰度和分辨率较低,可见光图像光照不足等问题,通过融合可见光和红外光图像的特征,设计一种基于YOLOv5改进的多模态行人检测算法IMV5(improved multimodal YOLOv5)。对传统的级联融合方法进行改进,结合注意力机制,设计一种多模态特征融合模块PMWM(pedestrian modal adaptive weight fusion module),将可见光和红外光图像融合,提高特征融合后的检测效果。加入优化过的空间金字塔池化结构,在保持感受野不变的情况下提升检测效果。在特征层上进行目标检测,预测出行人的概率和位置,实现行人检测功能。实验结果表明,IMV5算法在KAIST行人检测据集上的检测效果得到了明显提升。

主 题 词：多模态 YOLOv5 行人检测算法 特征融合 注意力机制 空间金字塔 目标检测 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2024.10.018

馆 藏 号：203145399...