摘要：detr是第一个将Transformer应用于目标检测的视觉模型。在detr结构中,Transformer编码器对已高度编码的图像特征进行再编码,这在一定程度上导致了网络功能的重复。此外,由于Transformer编码器具有多层深度堆叠的结构和巨大的参数量,导致网络优化变得困难,模型收敛速度缓慢。本文设计了一种无编码器的Transformer目标检测网络模型。由于不需要引入Transformer编码器,本文的模型比detr参数量更小、计算量更低、模型收敛速度更快。但是,直接去除Transformer编码器将降低网络的表达能力,导致Transformer解码器无法从数量庞大的图像特征中关注到包含目标的图像特征,从而使检测性能大幅降低。为了缓解这个问题,本文提出了一种混合特征注意力(fusion-feature mixing attention,FMA)机制,它通过自适应特征混合和通道交叉注意力弥补检测网络特征表达能力的下降,将其应用于Transformer解码器可以减轻由于去除Transformer编码器带来的性能降低。在MS-COCO数据集上,本文网络模型(称为FMA-detr)实现了与detr相近的性能表现,同时本文的模型拥有更快的收敛速度、更小的参数量以及更低的计算量。本文还进行了大量消融实验来验证所提出方法的有效性。

摘要：煤矿行业作为全球经济的基础之一,面临着众多挑战,其中包括人力成本上升、工人安全和设备安全等问题。随着人工智能技术的快速发展,为煤矿行业提供了新的解决方案。研究旨在探索基于Transformer的多模态数据融合决策技术在煤矿单轨吊系统中的应用。通过融合视频数据和传感器数据,实现对单轨吊系统运行状态的全面监控,及时发现潜在风险,进行决策干预,减少事故发生,提升系统的安全性和运行效率。设计了基于Transformer的单轨吊多模态数据融合决策技术,实现了视觉信息与传感器数据的有效融合和信息共享。通过试验验证,融合传感器数据的模型在检测准确度和鲁棒性方面优于单独使用视觉信息的模型,为煤矿行业的智能化发展提供了新的思路和技术支持。

摘要：Facebook AI研究者2020年提出的Detection Transformer(detr)目标检测方法采用简单的编码器-解码器结构,利用集合预测来解决物体检测问题,算法简单、通用、避免了很多手工设计和调参问题,吸引了学术界和产业界的广泛关注.然而,detr方法对于输入特征的分辨率大小有限制,同时在检测推理过程中缺失相对位置信息,从而导致对小目标和被遮挡目标的检测性能较差.为解决这一问题,受脑认知启发,本文提出基于胶囊推理和残差增强的全推理目标检测网络(Capsule-Inferenced and Residual-Augmented Detection Transformers,CIRA_detr).首先,建立层间残差信息增强模块,利用大小尺度的差异性对小尺度特征图进行信息增强,在小目标的检测效果上提升了1.8%.接着,为了更贴近人脑的思维方式,更好的建模神经网络中内部知识表示的分层关系,在Transformer的结果进行推理的过程中,引入胶囊推理模块挖掘实体信息,并利用双向注意力路由进行前向信息传递和后向信息的反馈,以此预测图像中目标的类别和位置信息,有效降低了遮挡下的目标检测问题的难度.最后,在目标信息的映射处理中,引入非线性超香肠映射函数,实现了灵活的超曲面构建,有效表达特征和目标类别以及位置之间的映射关系.在COCO数据集上的测试结果验证了CIRA_detr模型的有效性,其在小目标、中目标和大目标的检测上,平均预测准确率分别达到了25.8%、48.7%和62.7%.本文小目标的检测性能可以和Faster-RCNN相媲美,同时可视化的结果以及性能指标也反映了,相比传统的detr模型,本文CIRA_detr模型在被遮挡目标检测上的优势.

摘要：为了解决深度学习模型无法学习螺栓目标的先验知识、仅通过视觉特征难以快速准确定位其缺陷以及螺栓缺陷样本数量有限、类别不平衡的问题,提出了将深度学习模型与螺栓先验知识相结合的方法。选取端到端目标检测(detr)为基线模型,设计并实现了一种采用detr与先验知识融合的改进detr模型。首先,利用视觉-知识注意力模块将螺栓图像的视觉特征与螺栓先验知识有机融合,获得螺栓对应的增强视觉特征;然后,将增强视觉特征送入基于Transformer编码-解码结构的detr模型框架中对螺栓目标进行识别与分类;最后,针对螺栓危急缺陷样本少及样本不平衡的问题,引入类增量学习损失函数(CILLF)来增强模型的鉴别能力,缓解螺栓缺陷样本间长尾分布问题。仿真实验结果表明:改进detr模型在输电线路螺栓缺陷样本上的mAP相较于基线模型detr提升了2.8个百分点;相较于主流Faster R-CNN,YOLOv5l模型,改进detr模型在长尾分布下螺栓缺陷样本少的类别图像上的检测效果提升尤为显著。