[发明专利]音频生成方法、装置、存储介质及电子设备

说明书

本公开涉及一种音频生成方法、装置、存储介质及电子设备。该音频生成方法包括：获取目标用户的音色特征信息；将所述音色特征信息与待合成文本输入语音合成模型，得到与所述待合成文本对应的音频；其中，所述音色特征信息是通过将所述目标用户的语音输入音色编码器得到的，所述音色编码器是通过与文本编码器进行端到端的联合训练后得到的。采用本公开的这种方法，可以实现根据任意文本生成准确地且自然的以目标用户的声音念读该任意文本的音频。

技术领域

本公开涉及音频处理技术领域，具体地，涉及一种音频生成方法、装置、存储介质及电子设备。

背景技术

语音合成技术是一种通过机械的、电子的方法产生人造语音的技术。语音合成技术又称文语转换技术，具体用于将计算机自己产生的、或外部用户输入的文字信息转变为人可以听懂的汉语、英语、法语等音频。但是，目前通过计算机生成的人造语音自然度较低，与真实的人的语音具有明显差异。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种音频生成方法，所述方法包括：获取目标用户的音色特征信息；将所述音色特征信息与待合成文本输入语音合成模型，得到与所述待合成文本对应的音频；其中，所述音色特征信息是通过将所述目标用户的语音输入音色编码器得到的，所述音色编码器是通过与文本编码器进行端到端的联合训练后得到的。

第二方面，本公开提供一种音频生成装置，所述装置包括：获取模块，用于获取目标用户的音色特征信息；合成模块，用于将所述音色特征信息与待合成文本输入语音合成模型，得到与所述待合成文本对应的音频；其中，所述音色特征信息是通过将所述目标用户的语音输入音色编码器得到的，所述音色编码器是通过与文本编码器进行端到端的联合训练后得到的。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。

采用上述技术方案，至少可以达到如下技术效果：

将音色编码器与文本编码器进行端到端的联合训练，可以使训练完成的文本编码器能够从语音中提取出更多的文本特征和更少的音色特征，并可以使音色编码器能够从语音中提取出更多的音色特征和更少的文本特征。将目标用户的语音输入训练完成的音色编码器可得到目标用户的音色特征信息，将该音色特征信息与待合成文本输入语音合成模型，可得到与待合成文本对应的音频。由于通过音色编码器得到的音色特征信息包括了该目标用户较多的音色特征，因而根据音色特征信息与待合成文本合成的语音与该目标用户的自然发音会更加相似。并且，由于通过音色编码器得到的音色特征信息中(由训练样本导致的)文本特征很少，因而音色特征信息中的文本特征(等噪声)对新合成的音频干扰较小，进而使合成的音频与目标用户念读待合成文本的语音更加相似。因此，采用本公开的上述技术方案，可以实现根据任意文本拟合出准确地且自然的以目标用户的声音念读该任意文本的音频。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据本公开一示例性实施例示出的一种音频生成方法的流程图。

图2是根据本公开一示例性实施例示出的一种联合训练架构图。