基于注意力的短视频多模态情感分析

作     者：黄欢 孙力娟 曹莹 郭剑 任恒毅 HUANG Huan;SUN Li-juan;CAO Ying;GUO Jian;REN Heng-yi

作者机构：南京邮电大学计算机学院江苏南京210003 南京邮电大学江苏省无线传感网高技术重点实验室江苏南京210003 河南大学计算机与信息工程学院河南开封475001 

基　　金：国家自然科学基金项目(61873131,61702284) 安徽省科技厅面上项目(1908085MF207) 江苏省博士后研究基金项目(2018K009B) 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2021年第42卷第1期

页      码：8-14页

摘      要：针对现有的情感分析方法缺乏对短视频中信息的充分考虑,从而导致不恰当的情感分析结果。基于音视频的多模态情感分析(AV-MSA)模型便由此产生,模型通过利用视频帧图像中的视觉特征和音频信息来完成短视频的情感分析。模型分为视觉与音频2分支,音频分支采用卷积神经网络(CNN)架构来提取音频图谱中的情感特征,实现情感分析的目的;视觉分支则采用3D卷积操作来增加视觉特征的时间相关性。并在Resnet的基础上,突出情感相关特征,添加了注意力机制,以提高模型对信息特征的敏感性。最后,设计了一种交叉投票机制用于融合视觉分支和音频分支的结果,产生情感分析的最终结果。AV-MSA模型在IEMOCAP和微博视听(WB-AV)数据集上进行了评估,实验结果表明,与现有算法相比,AV-MSA在分类精确度上有了较大的提升。

主 题 词：多模态情感分析 残差网络 3D卷积神经网络 注意力 决策融合 

学科分类：0810[工学-土木类] 08[工学] 081002[081002] 

D　O　I：10.11996/JG.j.2095-302X.2021010008

馆 藏 号：203101976...