基于深度学习的视听多模态情感识别研究

作     者：李倩倩 王卫星 杨勤 陈治灸 秦晴 LI Qianqian;WANG Weixing;YANG Qin;CHEN Zhijiu;QIN Qing

作者机构：贵州大学机械工程学院贵阳550025 

基　　金：贵州省科学技术基金项目“基于深度图像的原生态民族舞蹈典型动作识别研究”(编号:黔科合基础1Y262) 贵州省教育厅青年科技人才成长项目“基于语言值计算的数字动漫产品情感化配乐技术研究”(编号:黔教合KY字112) 贵州大学引进人才项目“基于语义驱动的音乐与图像情感识别技术研究”(编号:贵大人基合字(2018)16号)资助 

出 版 物：《计算机与数字工程》 (Computer & Digital Engineering)

年 卷 期：2023年第51卷第3期

页      码：695-699页

摘      要：情感在同一情境下通常是逐渐变化的,而目前视听情感识别研究大部分集中在融合静态人脸图像特征和语音特征上,忽略了视频图像序列之间的时序关系,也忽略了姿态的作用。因此论文结合卷积神经网络(VGG)和长短期记忆网络(LSTM)构建了一个基于深度神经网络的视听多模态情感识别模型,整合了表情、姿态和语音的特征来进行视听情感识别。首先,使用VGG提取人脸图像和姿态图像的视觉特征,然后使用LSTM提取人脸图像序列和姿态图像序列的时序特征,同时使用opensmile提取音频特征,最后将提取的人脸、姿态和音频特征用DNN网络进行多特征的拼接融合以及情感分类。实验证明,与融合静态人脸图像特征与语音特征进行视听情感识别的方法相比,论文模型取得了更好的识别率,而加上姿态特征后,准确率又提升了6.1%。

主 题 词：深度学习 情感识别 视觉特征 时序特征 特征融合 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1672-9722.2023.03.029

馆 藏 号：203122413...