摘要：为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果,针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题,提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量,设计词向量注意力机制,捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层,设计层向量注意力机制,将这四层上由自适应权重计算得到的每一层输出向量进行融合,获得最终的BERT模型输出向量,更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明,提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中,该模型也取得了比基线模型更好的效果,较好地解决了电力运维规模预测混乱问题。

摘要：基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。