[发明专利]一种训练方法、语音转换方法及装置和电子设备

说明书

本公开提供一种训练方法、语音转换方法及装置和电子设备，涉及语音转换技术领域。所述训练方法包括：利用编码器从音频文本提取第一分布参数，利用解码器处理音频频谱信息和音频音色信息，获得第一隐变量，基于单调对齐搜索算法更新编码器的网络参数和解码器的网络参数，直到第一隐变量服从第一分布参数。由于解码器为基于流的生成模型，使得音频转换模型可以快速转换超长文本语音转换。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种训练方法、语音转换方法及装置和电子设备。

背景技术

语音转换(Voice Conversion)是一种在说话内容不变基础上，将原始说话人的语音音色迁移到目标说话人的语音音色的方式，其在电影配音、角色模仿、复刻人物音色、教育领域等方面都有重要的应用。

以教育领域为例，在直播教学过程中可以为用户提供IP定制、个性化定制音色等变声服务。目前，可以通过单样本语音转换复制音色，以降低对语音转换训练数据的要求，并显著节省计算资源。

发明内容

根据本公开的一方面，提供了一种训练方法，用于训练语音转换模型，所述语音转换模型包括编码器和解码器，所述解码器为基于流的生成模型，所述方法包括：

利用所述编码器从语音文本提取第一分布参数；

利用所述解码器处理语音频谱信息和语音音色信息，获得第一隐变量，所述语音文本、所述语音频谱信息和所述语音音色信息来自同一语音；

基于单调对齐搜索算法更新所述编码器的网络参数和所述解码器的网络参数，直到所述第一隐变量服从所述语音文本的第一分布参数。

根据本公开的另一方面，提供了一种语音转换方法，应用本公开示例性所述方法训练的语音转换模型，所述方法包括：

获取原始语音；

利用解码器处理同一所述原始语音的频谱信息和原始音色信息，获得原始语音的隐变量；

基于同一所述原始语音的帧数和所述隐变量，采用单调对齐搜索算法获得目标分布参数；

利用解码器处理所述隐变量、所述目标分布参数和和目标音色信息，获得转换后的语音信息。

根据本公开的另一方面，提供了一种训练装置，用于训练语音转换模型，所述语音转换模型包括编码器和解码器，所述解码器为基于流的生成模型，所述装置包括：

提取模块，用于利用所述编码器从语音文本提取第一分布参数；

获取模块，用于利用所述解码器处理语音频谱信息和语音音色信息，获得第一隐变量，所述语音文本、所述语音频谱信息和所述语音音色信息来自同一语音；

更新模块，用于基于单调对齐搜索算法更新所述编码器的网络参数和所述解码器的网络参数，直到所述第一隐变量服从所述语音文本的第一分布参数。

根据本公开的另一方面，提供了一种语音转换装置，应用本公开示例性所述方法训练的语音转换模型，所述装置包括：

获取模块，用于获取原始语音；

处理模块，用于利用解码器处理同一所述原始语音的频谱信息和原始音色信息，获得原始语音的隐变量；

对齐模块，用于基于同一所述原始语音的帧数和所述隐变量，采用单调对齐搜索算法获得目标分布参数；

所述处理模块还用于利用解码器处理所述隐变量、所述目标分布参数和目标音色信息，获得转换后的语音信息。

根据本公开的另一方面，提供了一种电子设备，包括：

处理器；以及，

存储程序的存储器，