[发明专利]一种实时语音转换方法、装置、电子设备及介质

说明书

本申请提供了一种实时语音转换方法、装置、电子设备及介质，方法包括以下步骤：从实时录制的源说话对象的语音数据中，截取出满足语音分段条件的第一语音数据；处理所述第一语音数据提取出第一语义信息；将第一语义信息输入到预先训练好的语音转换模型中，并通过所述语音转换模型对第一语义信息和第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息；将目标语音特征信息进行重构，得到所述第一语音数据转换后的第二语音数据，从而实现低延迟的流式推理，实现低延迟、高性能的实时语音转化。

技术领域

本申请涉及语音转换领域，具体而言，涉及一种实时语音转换方法、装置、电子设备及介质。

背景技术

语音转换(Voice Conversion)是一种保持语音内容不变的前提下，使说话人音色变为另一个人的技术。即在保持语音原始语义不变的基础上，改变其中的某些特征，具体包括说话人的音色、风格、口音等。

在现实生活中，语音转换技术已经有了众多实际的应用，如变声器、影视配音、语音助手、个性化转换以及帮助有发声障碍的残疾人恢复受损语音等，具有广阔的发展前景。然而，在实际应用中语音转换仍受到数据量、计算资源、实时率与转换效果等的限制。具体来说，现有技术方案以基于非平行语料的整段转换为主。传统的语音转换模型要求获取到全部输入语音后才能进行转换，无法满足实时应用中低延迟、高性能的实时性要求。

发明内容

有鉴于此，本申请的目的在于提供一种实时语音转换方法、装置、电子设备及介质，能够实现低延迟的流式推理，从而实现低延迟、高性能的实时语音转化。

本申请实施例提供的一种实时语音转换方法，包括以下步骤：

从实时录制的源说话对象的语音数据中，截取出满足语音分段条件的第一语音数据；

处理所述第一语音数据，提取出所述第一语音数据的第一语义信息；

将所述第一语义信息输入到预先训练好的语音转换模型中，并通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息；其中，所述有效信息为影响所述第一语义信息语音转换的信息；

将所述目标语音特征信息进行重构，得到所述第一语音数据转换后的第二语音数据。

在一些实施例中，还提供一种实时语音转换装置，所述装置包括：

截取模块，用于从实时录制的源说话对象的语音数据中，截取出满足语音分段条件的第一语音数据；

提取模块，用于处理所述第一语音数据，提取出所述第一语音数据的第一语义信息；

转换模块，用于将所述第一语义信息输入到预先训练好的语音转换模型中，并通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息；其中，所述有效信息为影响所述第一语义信息语音转换的信息；

重构模块，用于将所述目标语音特征信息进行重构，得到所述第一语音数据转换后的第二语音数据。

在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的实时语音转换方法的步骤。

在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的实时语音转换方法的步骤。