基于跨模态联合编码的多模态情感分析

作     者：孙斌 江涛 贾莉 崔伊明 SUN Bin;JIANG Tao;JIA Li;CUI Yiming

作者机构：西北民族大学语言与文化计算教育部重点实验室兰州730030 南京信息工程大学计算机学院南京210044 

基　　金：2022年甘肃省教育科技创新项目青年博士基金项目(2022QB-025) 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第18期

页      码：208-216页

摘      要：如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示,这些方法往往忽略了模态间复杂的关联关系,同时存在着由于模态信息不一致所导致的融合特征有效性降低问题,进而影响模型的性能。针对上述问题,提出一种基于跨模态联合编码的多模态情感分析模型。在特征提取方面,利用预训练模型BERT和Facet模型分别提取文本和视觉特征,经过一维卷积操作获取相同维度的单模态特征表示。特征融合方面,利用跨模态注意力模块获得两模态的联合特征,使用联合特征分别调整单模态特征的权重,将两者拼接后获得多模态融合特征,最终输入到全连接层中进行情感识别。在公开数据集CMU-MOSI上的广泛实验表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。

主 题 词：多模态情感分析 联合编码 跨模态注意力 多模态融合 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3778/j.issn.1002-8331.2306-0364

馆 藏 号：203143377...