基于BERT-FNN的意图识别分类

作     者：郑新月 任俊超 ZHENG Xin-yue;REN Jun-chao

作者机构：东北大学理学院辽宁沈阳110004 

基　　金：国家自然科学基金资助项目(61673100,61703083) 中央高校基本科研业务费专项资金项目(N150504011) 

出 版 物：《计算机与现代化》 (Computer and Modernization)

年 卷 期：2021年第7期

页      码：71-76,88页

摘      要：意图识别分类是自然语言处理领域的一个热点问题,在智能机器人、智能客服中如何根据上下文理解用户意图是一个重点问题,同时也是一个难点问题。传统的意图识别分类主要是采用基于规则、模板匹配的正则化方法或基于机器学习的方法,然而却存在计算成本高、泛化能力差的问题。针对上述问题,本文设计以Google公开的BERT预训练语言模型为基础,进行输入文本的上下文建模和句级别的语义表示,采用[cls]符号(token)对应的向量代表文本的上下文,再通过全连接神经网络(FNN)对语句进行特征提取,为了充分利用数据,本文利用拆解法的思想,将多分类问题转换成多个二分类问题处理,每次将一个类别作为正例,其余类别均作为负例,产生多个二分类任务,从而实现意图分类。实验结果表明,该方法性能优于传统模型,可以获得94%的准确率。

主 题 词：自然语言处理 意图识别 BERT FNN 拆解法 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1006-2475.2021.07.013

馆 藏 号：203104266...