基于时空特征的语音情感识别模型TSTNet

作     者：薛均晓 黄世博 王亚博 张朝阳 石磊 XUE Junxiao;HUANG Shibo;WANG Yabo;ZHANG Chaoyang;SHI Lei

作者机构：郑州大学软件学院河南郑州450002 郑州大学网络空间安全学院河南郑州450002 郑州大学信息工程学院河南郑州450001 

基　　金：河南省高等学校青年骨干教师培养计划(22020GGJS014) 

出 版 物：《郑州大学学报（工学版）》 (Journal of Zhengzhou University（Engineering Science）)

年 卷 期：2021年第42卷第6期

页      码：28-33页

摘      要：针对社交语音由于语气、音调、语速等差异以及填充信息丢失或冗余等问题,提出一种基于时空特征的语音情感识别方法。该方法利用卷积神经网络(CNN)和双向循环神经网络(BiGRU)技术,包含空间特征提取、时间特征提取和特征融合3个模块。考虑到音频数据内容长短不一,首先对音频数据进行预处理,应用3种补零填充方法,得到不同尺度的语谱图。设计了空间特征提取方法捕获音频的局部特征,并利用时间特征提取方法获取音频数据的时间特征和前后语义关系,从而得到3个时空特征向量。此外,融合了时空特征向量并通过全连接层进行语音情感分类。利用科大讯飞语音情感数据集进行了数值实验,实验结果与传统语音情感识别模型的实验结果相比,在准确率、精确率、召回率和F1值等4项指标上均取得了较好结果。

主 题 词：语音情感识别 语谱图 时空特征 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.13705/j.issn.1671-6833.2021.06.008

馆 藏 号：203106581...