基于MCA-BERT的数学文本分类方法

作     者：杨先凤 龚睿 李自强 YANG Xian-feng;GONG Rui;LI Zi-qiang

作者机构：西南石油大学计算机科学学院四川成都610500 四川师范大学影视与传媒学院四川成都610066 

基　　金：国家自然科学青年基金项目(61802321) 四川省科技厅重点研发基金项目(2020YFN0019) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2023年第44卷第8期

页      码：2312-2319页

摘      要：为尽可能地提高数学文本分类的效果,通过构建数学文本数据集并对该数据集进行分析,提出增强文本实体信息的多通道注意力机制-Transformers的双向编码器表示(MCA-BERT)模型。通过Word2vec词向量的平均池化获得句子级的实体信息,通过注意力机制给不同词赋予不同权重,获得词语级的实体信息,将两类实体信息与BERT输出的上下文信息拼接,通过Softmax层得到分类结果。该方法在数学文本数据集上的F1值相比BERT单通道的方法提高了2.1个百分点。实验结果说明,该方法能够有效增强文本实体信息,获得更好的分类效果。

主 题 词：数学文本分类 实体信息 注意力机制 多通道 双向编码器表示 词向量 分类器 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2023.08.010

馆 藏 号：203123410...