多注意力机制BERT分类模型及其在电力运维中的应用

作     者：王文娟 何晓莲 胡峰 赵伟 钟淘淘 WANG Wenjuan;HE Xiaolian;HU Feng;ZHAO Wei;ZHONG Taotao

作者机构：国网重庆市电力公司信息通信分公司调控中心重庆401121 重庆邮电大学计算智能重庆市重点实验室重庆400065 重庆邮电大学国际合作与交流处重庆400065 国网重庆市电力公司信息通信分公司技术发展部重庆401121 

基　　金：国家自然科学基金(61772096) 国家重点研发计划资助项目(2018YFC0832100,2018YFC0832102) 

出 版 物：《重庆邮电大学学报（自然科学版）》 (Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition))

年 卷 期：2023年第35卷第1期

页      码：156-163页

摘      要：为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量,设计词向量注意力机制,捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层,设计层向量注意力机制,将这四层上由自适应权重计算得到的每一层输出向量进行融合,获得最终的BERT模型输出向量,更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明,提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中,该模型也取得了比基线模型更好的效果,较好地解决了电力运维规模预测混乱问题。

主 题 词：分类 多注意力机制 电力运维系统 特征抽取 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3979/j.issn.1673-825X.202109050317

馆 藏 号：203118534...