基于Transformer的多子空间多模态情感分析

作     者：田昌宁 贺昱政 王笛 万波 郭栩彤 TIAN Changning;HE Yuzheng;WANG Di;WAN Bo;GUO Xutong

作者机构：西安电子科技大学计算机科学与技术学院陕西西安710071 中国电子科技集团公司第五十四研究所河北石家庄050081 

基　　金：国家科技创新2030-“新一代人工智能”重大项目(2022ZD0117103) 中央高校基本科研业务费项目(QTZX23084) 国家自然科学基金面上项目(62072354) 

出 版 物：《西北大学学报（自然科学版）》 (Journal of Northwest University（Natural Science Edition）)

年 卷 期：2024年第54卷第2期

页      码：156-167页

摘      要：多模态情感分析是指通过文本、视觉和声学信息识别视频中人物表达出的情感。现有方法大多通过设计复杂的融合方案学习多模态一致性信息,而忽略了模态间和模态内的差异化信息,导致缺少对多模态融合表示的信息补充。为此提出了一种基于Transformer的多子空间多模态情感分析(multi-subspace Transformer fusion network for multimodal sentiment analysis,MSTFN)方法。该方法将不同模态映射到私有和共享子空间,获得不同模态的私有表示和共享表示,学习每种模态的差异化信息和统一信息。首先,将每种模态的初始特征表示分别映射到各自的私有和共享子空间,学习每种模态中包含独特信息的私有表示与包含统一信息的共享表示。其次,在加强文本模态和音频模态作用的前提下,设计二元协同注意力跨模态Transformer模块,得到基于文本和音频的三模态表示。然后,使用模态私有表示和共享表示生成每种模态的最终表示,并两两融合得到双模态表示,以进一步补充多模态融合表示的信息。最后,将单模态表示、双模态表示和三模态表示拼接作为最终的多模态特征进行情感预测。在2个基准多模态情感分析数据集上的实验结果表明,该方法与最好的基准方法相比,在二分类准确率指标上分别提升了0.0256/0.0143和0.0007/0.0023。

主 题 词：多模态情感分析 Transformer结构 多子空间 多头注意力机制 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

核心收录：

D　O　I：10.16152/j.cnki.xdxbzr.2024-02-002

馆 藏 号：203127267...