基于BERT预训练与混合神经网络的中文语义识别算法设计

作     者：蓝天虹 陈丹霏 郑源 徐正一 LAN Tianhong;CHEN Danfei;ZHENG Yuan;XU Zhengyi

作者机构：国网浙江省电力有限公司温州供电公司浙江温州325000 国网浙江省电力有限公司双创中心浙江杭州310000 国网浙江省电力有限公司瑞安市供电公司浙江瑞安325200 

基　　金：国网浙江省电力有限公司双创中心资助项目(B711JZ210007) 

出 版 物：《电子设计工程》 (Electronic Design Engineering)

年 卷 期：2024年第32卷第12期

页      码：91-95页

摘      要：针对现阶段电力智能客服沟通效率低且语义理解能力不佳的问题,文中基于BERT预训练模型和混合神经网络提出了一种中文语义识别算法。该算法使用BERT模型进行词嵌入表示,在得到深度编码信息的同时还可以获取上下文联系信息。通过将Bi-GRU、注意力机制以及CRF模型进行融合,使其能够处理基于上下文的词向量。同时构建的混合神经网络也可以捕获词向量的多维特征信息,进而全面提升模型的意图识别及中文语义理解能力。在实验测试中,所提算法的意图识别准确率与F1值相较于基线算法分别提升了11.3%和6.6%,表明对语料的预训练可以有效提升模型语义识别的能力。

主 题 词：BERT预训练 循环神经网络 条件随机场 注意力机制 语义识别 自然语言处理 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.14022/j.issn1674-6236.2024.12.018

馆 藏 号：203128206...