[发明专利]语音处理方法、装置、电子设备和存储介质

权利要求书

1.一种语音处理方法，包括：

获取语音样本，提取所述语音样本的声学特征和音色特征；

提取所述声学特征中的内容特征；

将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；

根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；

获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。

2.根据权利要求1所述的语音处理方法，其中，所述提取所述声学特征中的内容特征，包括：

基于下采样网络对所述声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；

基于上采样网络对所述下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。

3.根据权利要求1所述的语音处理方法，其中，所述提取所述声学特征中的内容特征，包括：

基于预设的条件变换网络，提取所述声学特征中的内容特征；其中，所述条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。

4.根据权利要求1所述的语音处理方法，其中，所述将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形，包括：

将所述内容特征和所述音色特征输入至初始的生成器模型；

通过所述生成器模型将所述内容特征作为局部信息，所述音色特征作为全局信息，将所述音色特征拼接至每帧的内容特征上，得到针对所述语音样本的语音特征序列；

通过所述生成器模型对所述语音特征序列进行波形生成处理，得到针对所述语音样本的预测语音波形。

5.根据权利要求1所述的语音处理方法，其中，所述根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，包括：

按照预设算法，根据所述预测语音波形和所述真实语音波形生成损失值；

根据所述损失值和预设的目标函数训练所述初始生成器模型。

6.根据权利要求1至5中任一项所述的语音处理方法，其中，所述生成器模型为基于生成对抗网络MelGan的神经网络模型。

7.一种语音处理装置，包括：

第一获取模块，用于获取语音样本；

第一提取模块，用于提取所述语音样本的声学特征和音色特征；

第二提取模块，用于提取所述声学特征中的内容特征；

第二获取模块，用于将所述内容特征和所述音色特征输入至初始的生成器模型，获得针对所述语音样本的预测语音波形；

训练模块，用于根据所述预测语音波形和所述语音样本的真实语音波形，训练所述初始生成器模型，获取模型参数，并根据所述模型参数形成新的生成器模型；

语音转换模块，用于获取源语音的声学特征和目标音色特征，将所述源语音的声学特征之中的内容特征和所述目标音色特征输入至所述生成器模型，得到转换后的语音波形。

8.根据权利要求7所述的语音处理装置，其中，所述第二提取模块具体用于：

基于下采样网络对所述声学特征进行N倍下采样，得到下采样后的特征序列；其中，所述N为大于或等于2的正整数；

基于上采样网络对所述下采样后的特征序列进行N倍上采样，将经过上采样后得到的特征序列确定为所述内容特征。

9.根据权利要求7所述的语音处理装置，其中，所述第二提取模块具体用于：

基于预设的条件变换网络，提取所述声学特征中的内容特征；其中，所述条件变换网络在训练时对网络的每一层卷积输出进行归一化，所述条件变换网络用于消除全局信息。