视觉基础模型驱动的像素级图像异常检测方法

作     者：薛振华 李强 黄超 XUE Zhenhua;LI Qiang;HUANG Chao

作者机构：国能运输技术研究院有限责任公司北京100080 中山大学深圳校区网络空间安全学院广东深圳518107 

基　　金：国家自然科学基金资助项目(62301621) 深圳市科技计划项目(20231121172359002) 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2025年第45卷第3期

页      码：823-831页

摘      要：现有的异常检测方法能在特定应用场景下实现高精度检测,然而这些方法难以适用于其他应用场景,且自动化程度有限。因此,提出一种视觉基础模型(VFM)驱动的像素级图像异常检测方法SSMOD-Net(State Space Model driven-Omni Dimensional Net),旨在实现更精确的工业缺陷检测。与现有方法不同,SSMOD-Net实现SAM(Segment Anything Model)的自动化提示且不需要微调SAM,因此特别适用于需要处理大规模工业视觉数据的场景。SSMOD-Net的核心是一个新颖的提示编码器,该编码器由状态空间模型驱动,能够根据SAM的输入图像动态地生成提示。这一设计允许模型在保持SAM架构不变的同时,通过提示编码器引入额外的指导信息,从而提高检测精度。提示编码器内部集成一个残差多尺度模块,该模块基于状态空间模型构建,能够综合利用多尺度信息和全局信息。这一模块通过迭代搜索,在提示空间中寻找最优的提示,并将这些提示以高维张量的形式提供给SAM,从而增强模型对工业异常的识别能力。而且所提方法不需要对SAM进行任何修改,从而避免复杂的对训练计划的微调需求。在多个数据集上的实验结果表明,所提方法展现出了卓越的性能,与AutoSAM和SAM-EG(SAM with Edge Guidance framework for efficient polyp segmentation)等方法相比,所提方法在mE(mean E-measure)和平均绝对误差(MAE)、Dice和交并比(IoU)上都取得了较好的结果。

主 题 词：深度学习 像素级异常检测 视觉基础模型 SAM 自动提示 

学科分类：08[工学] 080203[080203] 0802[工学-机械学] 

D　O　I：10.11772/j.issn.1001-9081.2024091398

馆 藏 号：203158171...