基于迁移学习双阶段训练的情感语音克隆技术

作     者：李囡 郭浩 相洁 LI Nan;GUO Hao;XIANG Jie

作者机构：太原理工大学信息与计算机学院山西晋中030600 

基　　金：国家自然科学基金项目(61876124、61873178) 山西省科技厅基础研究基金项目(20210302123129、20210302124166、20210302123099) 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2024年第45卷第5期

页      码：1533-1540页

摘      要：为解决传统基于SV2TTS架构的语音克隆系统合成语音缺乏丰富表达能力的问题,提出一种基于迁移学习双阶段训练说话人编码器的情感语音克隆方法。在说话人识别技术基础上,利用迁移学习,对说话人编码器进行音色克隆训练;在情感克隆训练阶段,采用情感语音数据集对其参数进行微调,提取具有情感信息的说话人特征。将此特征作为合成器的输入对梅尔谱的生成过程进行调节,通过声码器将此梅尔谱转换为具有目标说话人信息的情感语音。主客观分析结果表明,该方法所生成的克隆语音的情感相似度更高,音色相似度也有一定改善。

主 题 词：迁移学习 情感语音克隆 情感语音合成 双阶段训练 说话人识别 说话人编码 参数微调 

学科分类：081203[081203] 08[工学] 0835[0835] 0812[工学-测绘类] 

D　O　I：10.16208/j.issn1000-7024.2024.05.033

馆 藏 号：203127858...