[发明专利]基于wavenet的情感语音转换方法

权利要求书

1.一种基于wavenet的情感语音转换方法，包括如下步骤：

S1.获取语音文件，构成语料库；

S2.将步骤S1获取的语料库中的语音数据，分为中性语音文件和情感语音文件，且内容相同的语音分为同一组；

S3.提取步骤S2分组后的语音文件中的声学特征基音频率；

S4.对步骤S2分组后的语音文件进行预处理，从而得到每一组语音文件的梅尔谱特征；

S5.针对步骤S4得到的每一组语音文件的梅尔谱特征，进行动态规划特征点对齐，从而使得每一组语音文件中对应的最短路径的两点进行映射，并作为训练对；

S6.构建情感梅尔谱转换模型；

S7.构建wavenet语音合成模型；

S8.采用步骤S6得到的情感梅尔谱转换模型作为前向网络输入，利用步骤S7构建的wavenet语音合成模型作为后向网络，输出最终的情感语音文件。

2.根据权利要求1所述的基于wavenet的情感语音转换方法，其特征在于步骤S2所述的将步骤S1获取的语料库中的语音数据，分为中性语音文件和情感语音文件，且内容相同的语音分为同一组，具体为采用如下步骤进行分组：

A.提取具有相同内容的若干个情感色彩的语音文件作为训练集；

B.采用ASR工具得到每一语句的文本信息；

C.针对步骤B得到的文本信息，将文本相同但情感不同的语音文件与中性语音文件分为一组；

D.将多组文件分行构成训练矩阵；其中一组为一行。

3.根据权利要求2所述的基于wavenet的情感语音转换方法，其特征在于步骤S3所述的提取步骤S2分组后的语音文件中的声学特征基音频率，具体为采用如下步骤进行提取：

a.将步骤S2得到的训练矩阵分行；

b.以行为单位，将训练矩阵的数据输入vocoder解码器；

c.将步骤b得到的vocoder解码器输出的基音频率，将文本相同但情感不同的语音文件所对应的基因频率与中性语音文件所对应的基音频率分为一组，从而得到基音频率特征矩阵。

4.根据权利要求3所述的基于wavenet的情感语音转换方法，其特征在于步骤S4所述的对步骤S2分组后的语音文件进行预处理，从而得到每一组语音文件的梅尔谱特征，具体为采用如下步骤得到每一组语音文件的梅尔谱特征：

(1)对步骤S2得到的训练矩阵分行；

(2)以行为单位，对训练矩阵的每一行数据所对应的语音文件，以设定的采样频率进行采样，并做μ律十三折线压缩；

(3)对步骤(2)得到的压缩后的语音文件进行分帧处理；

(4)对步骤(3)得到的分帧后的语音文件进行加窗处理；

(5)对步骤(4)得到的加窗后的语音文件进行频谱分析，从而得到对应的频谱数据；

(6)对步骤(5)得到的频谱数据，进行梅尔滤波处理；

(7)对步骤(6)经过梅尔滤波处理的频谱数据进行保存，从而得到每一组语音文件的梅尔谱特征。

5.根据权利要求4所述的基于wavenet的情感语音转换方法，其特征在于步骤S5所述的针对步骤S4得到的每一组语音文件的梅尔谱特征，进行动态规划特征点对齐，从而使得每一组语音文件中对应的最短路径的两点进行映射，并作为训练对，具体为采用如下步骤进行动态规划特征点对齐：

1)设定中性语音梅尔谱序列为X，情感语音梅尔谱序列为Y；

2)建立两个序列的欧式距离矩阵；

3)寻找从矩阵最左上角的元素到矩阵最右下角的元素之间的最短距离；

4)获取步骤3)所述的最短距离所对应的路径上的坐标，并记为平行对应点。

6.根据权利要求5所述的基于wavenet的情感语音转换方法，其特征在于步骤S6所述的构建情感梅尔谱转换模型，具体为将步骤S5获取的平行对应点作为输入数据，输入到CNN网络模型中进行训练，从而得到最终的情感梅尔谱转换模型。