面向视频数据的多模态情感分析

作     者：武星 殷浩宇 姚骏峰 李卫民 钱权 WU Xing;YIN Haoyu;YAO Junfeng;LI Weimin;QIAN Quan

作者机构：上海大学计算机工程与科学学院上海200444 中国船舶集团海舟系统技术有限公司上海200010 

基　　金：国家自然科学基金重点项目(61936001) 上海市启明星项目(21QB1401900) 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第6期

页      码：218-227页

摘      要：多模态情感分析旨在从文本、图像和音频数据中提取和整合语义信息,从而识别在线视频中说话者的情感状态。尽管多模态融合方案在此研究领域已取得一定成果,但是已有方法在处理模态间分布差异和关系知识的融合方面仍有欠缺,为此,提出一种多模态情感分析方法。设计一种多模态提示门(MPG)模块,其能够将非语言信息转换为融合文本上下文的提示,利用文本信息对非语言信号的噪声进行过滤,得到包含丰富语义信息的提示,以增强模态间的信息整合。此外,提出一种实例到标签的对比学习框架,在语义层面上区分隐空间中的不同标签以进一步优化模型输出。在3个大规模情感分析数据集上的实验结果表明,该方法的二分类精度相对次优模型提高了约0.7%,三分类精度提高了超过2.5%,达到0.671。该方法能够为将多模态情感分析引入用户画像、视频理解、AI面试等领域提供参考。

主 题 词：多模态情感分析 语义信息 多模态融合 上下文表征 对比学习 

学科分类：12[管理学] 1201[管理学-管理科学与工程类] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.19678/j.issn.1000-3428.0067874

馆 藏 号：203128224...