[发明专利]一种语音合成方法和装置

说明书

本申请提供了一种语音合成方法和装置，能够提升合成的语音的拟人化程度，使得合成的语音情感丰富。该方法包括：获取与训练文本对应的训练音频及标准的梅尔频谱；根据训练文本和训练音频，提取训练音频中每个音素的标准的语音特征；根据训练文本和训练音频，确定训练文本的情感标签序列，情感标签序列包含的数字表征训练文本中相应位置的文字是否用于表达情感；根据标准的梅尔频谱、标准的语音特征、情感标签序列、训练文本对应的音素标识序列和说话人的标识，确定训练数据；基于训练数据训练语音合成模型，使得语音合成模型学习到每个音素的语音特征，以及每个文字的情感特征；根据目标文本和训练好的语音合成模型，确定目标文本对应的合成语音。

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种语音合成方法和装置。

背景技术

语音合成(Speech Synthesis)，又称文语转换技术是指计算机通过分析将任意文本转化为流畅语音的技术。语音合成作为实现人机语音交互系统的核心技术之一，是语音处理技术中一个重要的方向，其应用价值越来越受到重视。

目前的语音合成技术中根据文本生成的语音，虽然在音色和音调上接近录音者，且流利通畅，但是让人听起来非常正式和官方，缺乏情感。而日常生活中人们进行交流的时候蕴含情感的表现例如，文本“嗯，我还没想好”，通常在说“嗯”的时候会发生拖音的现象，表示思索中、犹豫等情感。相似地，还有文本“呃，我想想”中的“呃”也会发生拖音的现象，表示思索中。又例如，“哦，我看好你呦”中的“哦”会发生音调变化的现象表示朋友间愉悦的情感。但是目前的语音合成技术无法合成体现情感的语音，导致生成的语音拟人化程度较低，缺乏情感。例如，目前的语音合成技术针对文本“嗯，我还没想好”中的“嗯”的读音只是普通的发音，没有体现出人的思索中、犹豫等情感。

因此，如何提升合成的语音的拟人化程度，使得合成的语音情感丰富成为亟待解决的问题。

发明内容

本申请提供了一种语音合成方法和装置，能够提升合成的语音的拟人化程度，使得合成的语音情感丰富。

第一方面，提供了一种语音合成方法，包括：

获取说话人根据训练文本录制的训练音频，以及训练音频对应的标准的梅尔频谱；

根据训练文本和训练音频，提取训练音频中每个音素的标准的语音特征，语音特征包括音长、音高和能量中的一种或多种；

根据训练文本和训练音频，确定训练文本的情感标签序列，情感标签序列包含与训练文本的文字数量相同的数字，每一数字表征训练文本中相应位置的文字是否用于表达情感；

根据标准的梅尔频谱、标准的语音特征、情感标签序列、训练文本对应的音素标识序列和说话人的标识，确定训练数据；

基于训练数据训练语音合成模型，使得语音合成模型学习说话人录制的训练文本中每个音素的语音特征，以及每个文字的情感特征，根据语音合成模型预测的梅尔频谱与标准的梅尔频谱之间的误差计算损失，根据语音合成模型预测的每个音素的语音特征与对应的标准的语音特征计算损失，直到语音合成模型收敛，得到训练好的语音合成模型；

根据目标文本和训练好的语音合成模型，确定目标文本对应的合成语音。

在一个示例中，语音合成模型包括情感标签序列嵌入层、音素标识序列嵌入层、说话人标识嵌入层、编码层、拼接层、方差适配器和梅尔频谱解码器，其中，基于训练数据训练语音合成模型，包括：

向情感标签序列嵌入层输入情感标签序列，以获取情感标签序列的向量矩阵；

向音素标识序列嵌入层输入音素标识序列，以获取音素标识序列的向量矩阵；

向说话人标识嵌入层输入说话人的标识，以获取说话人的标识的向量矩阵；