结合自注意力和归一化的MAC_BiLSTM文本分类模型

作     者：原明君 江开忠 杨洋 惠岚昕 

作者机构：上海工程技术大学数理与统计学院上海 

出 版 物：《应用数学进展》 (Advances in Applied Mathematics)

年 卷 期：2022年第11卷第10期

页      码：7012-7025页

摘      要：针对文本分类任务中关键特征分布不均匀和双向长短期记忆网络(BiLSTM)局部特征信息提取不足的问题,提出了一种基于自注意力机制(Self_Attention)和归一化的多通道MAC_BiLSTM文本分类模型。在双向长短期记忆网络层之后加入自注意力机制并进行层归一化,同时将BiLSTM通道的信息与最初的词向量信息融合,输入卷积通道,再分别采用自注意力赋予词卷积方式重新计算后信息的词权重,并进行批归一化,重复两次之后再进行池化,最终将CNN通道池化后的特征信息与BiLSTM通道信息进行特征融合,并通过Softmax分类器得出分类结论。在模型的设计环境中,模型使用了更加平滑的Mish激活函数代替Relu,通过和其他深度学习模型在多个数据集上的比较,结果表明,所提出的模型与其他模型相比具有更好的分类效果。

主 题 词：自注意力机制 卷积神经网络 双向长短期记忆网络 归一化 多通道 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.12677/AAM.2022.1110744

馆 藏 号：203114659...