[发明专利]一种实时语音转换方法、装置、电子设备及介质

权利要求书

1.一种实时语音转换方法，其特征在于，包括以下步骤：

从实时录制的源说话对象的语音数据中，截取出满足语音分段条件的第一语音数据；

处理所述第一语音数据，提取出所述第一语音数据的第一语义信息；

将所述第一语义信息输入到预先训练好的语音转换模型中，并通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息；其中，所述有效信息为影响所述第一语义信息语音转换的信息；

将所述目标语音特征信息进行重构，得到所述第一语音数据转换后的第二语音数据。

2.根据权利要求1所述的实时语音转换方法，其特征在于，将所述目标语音特征信息进行重构，得到所述第一语音数据转换后的第二语音数据之后，所述方法还包括：

根据所述第二语音数据转换前的第一语音数据的截取时间，确定第二语音数据的播放顺序；

按照确定的所述播放顺序，播放所述第二语音数据。

3.根据权利要求1所述的实时语音转换方法，其特征在于，通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，包括：

获取所述语音转换模型转换处理所述第一语音数据前一段历史语音数据的第二语义信息，得到对应第二语义信息的和目标说话对象语音因素的目标语音特征信息时，每一卷积层输出的第一有效信息；其中，所述第二语义信息是从第一语音数据的前一段历史语音数据中提取的；

将所述第一语义信息依次输入到所述语音转换模型的每一卷积层，并在每一卷积层的输入数据的头部添加该卷积层对应的第一有效信息，以通过语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理。

4.根据权利要求1所述的实时语音转换方法，其特征在于：

所述历史语音数据，为第一语音数据的前一段历史语音数据。

5.根据权利要求1所述的实时语音转换方法，其特征在于，将所述第一语义信息输入到预先训练好的语音转换模型中，并通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息，包括：

确定出目标说话对象的目标语音因素向量；

将所述第一语义信息、所述目标说话对象的目标语音因素向量输入到预先训练好的语音转换模型中，以使所述语音转换模型基于所述目标说话对象的目标语音因素向量对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息。

6.根据权利要求5所述的方法，其特征在于，所述确定出目标说话对象的目标语音因素向量，包括：

获取目标说话对象的标识信息；

根据目标说话对象的标识信息，从预先训练好的语音转换模型的关联关系表中，确定出目标说话对象的目标语音因素向量；其中，所述关联关系表表征了说话对象和语音因素向量的关联关系。

7.根据权利要求1所述的实时语音转换方法，其特征在于，通过所述语音转换模型对所述第一语义信息和所述第一语音数据之前历史语音数据的有效信息进行转换处理，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息；包括：

获取目标说话对象的目标语音因素向量；

通过语音转换模型的编码器处理所述目标语音因素向量和第一语义信息、第一语音数据之前历史语音数据的第二有效信息，生成对应第一语义信息和目标语音因素向量的目标语音向量特征；

将目标语音向量特征输出至语音转换模型的解码器；

通过所述解码器处理所述目标语音向量特征、第一语音数据之前历史语音数据的第三有效信息，得到对应第一语义信息和目标说话对象语音因素的目标语音特征信息。