跨信道注意力权重最大区域掩盖的正则化方法

作     者：贾晓芬 王景泰 郭永存 赵佰亭 JIA Xiaofen;WANG Jingtai;GUO Yongcun;ZHAO Baiting

作者机构：安徽理工大学电气与信息工程学院安徽淮南232001 安徽理工大学省部共建深部煤矿采动响应与灾害防控国家重点实验室安徽淮南232001 

基　　金：安徽省自然科学基金面上项目(2108085ME158) 安徽高校协同创新项目(GXXT-2019-048,GXXT-2020-54) 

出 版 物：《西安交通大学学报》 (Journal of Xi'an Jiaotong University)

年 卷 期：2022年第56卷第3期

页      码：45-53页

摘      要：针对Dropout的流动性和随机性可能引起欠拟合或过拟合的问题,提出跨信道计算注意力权重并掩盖注意力权重最大区域的正则化方法(MARDrop)。设计跨信道注意力权重提取机制,提取所有特征图的注意力权重,并筛选出注意力权重较大的部分作为特征判别单元;根据特征判别单元周围区域的注意力权重变化确定出注意力权重最大区域,并将其掩盖即对应区域置为0,其余区域均置为1;将取值为1的注意力权重区域还原为特征图,完成正则化处理。实验表明:MARDrop具有较强的灵活性,结合不同优化方法用于Model2模型后,在CIFAR-10上的分类精度比基础模型提高了19.55%;MARDrop具有较强的泛化能力,能灵活用于不同模型,用于VGG16和ResNet18模型后,在CIFAR-10上的分类错误率比基础模型分别降低了10.05%和9.96%,用于MoblieNetV3S和MoblieNetV3L后,在ImageNet-C9上的分类错误率比基础模型分别降低了14.67%和96.90%。MARDrop利用一维卷积跨信道交互计算注意力权重,能有效降低提取的复杂度;MARDrop通过准确掩盖造成过拟合的特征区域,降低了模型对少数特征的依赖性,进而增加了图像分类的准确率。

主 题 词：正则化 跨信道交互 图像分类 Dropout 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.7652/xjtuxb202203005

馆 藏 号：203108351...