基于自监督对比学习与方面级情感分析的联合微调模型

作     者：狄广义 陈见飞 杨世军 高军 王耀坤 余本功 DI Guang-yi;CHEN Jian-fei;YANG Shi-jun;GAO Jun;WANG Yao-kun;YU Ben-gong

作者机构：国能数智科技开发(北京)有限公司北京100011 合肥工业大学管理学院合肥230009 

基　　金：国家自然科学基金(71671057) 

出 版 物：《科学技术与工程》 (Science Technology and Engineering)

年 卷 期：2024年第24卷第21期

页      码：9033-9042页

摘      要：方面级情感分析是自然语言处理领域中一项具有挑战性的细粒度情感分析任务。以微调预训练语言模型的方式广泛应用于方面级情感分析任务,并取得了明显的效果提升。然而,现有多数研究设计的下游结构较为复杂,甚至与预训练模型部分隐藏层结构重合,从而限制了整体模型性能。由于对比学习方法有助于改善预训练语言模型在词语级别和句子级别的表示,设计了一种结合自监督对比学习与方面级情感分析的联合微调模型(self-supervised contrastive learning aspect-based sentiment analysis,SSCL-ABSA)。该模型以简洁的下游结构联合两种学习任务,实现从不同角度微调预训练基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)模型,有效促进了方面级情感分析效果的提升。具体地,首先在BERT编码阶段,将评论文本与方面词拼接成两个片段输入BERT编码器,得到各词特征表示。之后根据下游结构需求,对不同的词特征采用池化操作。一方面池化所有词特征用于方面级情感分析,另一方面池化两个片段的方面词特征用于自监督对比学习。最终结合两种任务以联合学习的方式微调BERT编码器。在3个公开数据集上进行实验评估,结果表明SSCL-ABSA方法优于其他同类对比方法。借助t-分布随机近邻嵌入(t-distributed stochastic neighbor embedding,t-SNE)方法,形象地可视化了SSCL-ABSA有效改善了BERT模型的实体表示效果。

主 题 词：方面级情感分析 自监督对比学习 预训练语言模型 BERT编码器 联合微调 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.12404/j.issn.1671-1815.2305769

馆 藏 号：203132623...