基于残差网络和粗细粒度的音视频情感识别

作     者：于明 刘子微 师硕 吕华 YU Ming;LIU Zi-wei;SHI Shuo;LYU Hua

作者机构：河北工业大学人工智能与数据科学学院天津300401 

基　　金：国家自然科学青年基金项目(61806071) 河北省自然科学基金面上基金项目(F2019202464、F2019202381) 河北省高等学校科学技术研究基金项目(QN2019207) 中国科学院自动化研究所模式识别国家重点实验室开放课题基金项目(201900043) 天津科技发展战略研究计划基金项目(18ZLZXZF00660) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2023年第44卷第7期

页      码：2192-2199页

摘      要：针对情感特征表征性不足以及离散型和连续型情感描述间关联缺失的问题,提出一种基于残差网络和粗细粒度的音视频情感识别方法。基于残差网络构建双子网络提取特征,视频子网设计恒定残差网络和细节关注分支,弥补深层特征的细节信息;音频子网利用分段注意力机制提升特征判别力。使用比例决策融合策略得到最终情感分类结果。设计粗细粒度损失函数,优化整个网络的性能。实验结果表明,所提方法有效提升了识别精度,验证了不同情感描述间的关联对情感识别的辅助作用。

主 题 词：音视频模态 情感识别 残差网络 比例决策融合 细节信息 分段注意力机制 粗细粒度损失 

学科分类：12[管理学] 0711[理学-心理学类] 1201[管理学-管理科学与工程类] 07[理学] 081104[081104] 08[工学] 0835[0835] 0811[工学-水利类] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2023.07.036

馆 藏 号：203122608...