融合级联注意力和多任务学习的语音情感识别

作     者：杨京宝 高恩录 刘扬 陈庚 王庆越 夏玉琦 赵振 YANG Jingbao;GAO Enlu;LIU Yang;CHEN Geng;WANG Qingyue;XIA Yuqi;ZHAO Zhen

作者机构：青岛淄柴博洋柴油机股份有限公司青岛266701 青岛科技大学信息科学技术学院青岛266061 

基　　金：山东省自然科学基金项目(编号:ZR2020QF007) 国家自然科学基金项目(编号:62201314)资助 

出 版 物：《计算机与数字工程》 (Computer & Digital Engineering)

年 卷 期：2023年第51卷第2期

页      码：411-416页

摘      要：针对如何提取有效的非个性化情感特征的难题,提出一种融合级联注意力机制(CAM)和多任务学习(MTL)的语音情感识别模型。首先,提取时频方向的3D Log-Mels特征作为模型输入;然后,设计由通道注意力、空间注意力和自注意力组成的级联注意力网络关注情感显著的区域;最后,通过多任务学习(MTL)策略融合情感识别和性别分类任务,减少性别的差异对情感识别的影响。实验结果表明,模型在IEMOCAP数据集上的加权精度(Weighted Accuracy,WA)和未加权精度(Unweighted Accuracy,UA)分别达到了79.39%和76.76%。

主 题 词：语音情感识别 级联注意力机制 多任务学习策略 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.3969/j.issn.1672-9722.2023.02.024

馆 藏 号：203122188...