[发明专利]语音处理及模型训练方法、装置、设备和存储介质

权利要求书

1.一种语音处理方法，包括：

对文本进行语音处理，以获得所述文本对应的语音；

对所述文本进行音效信息预测，以获得待添加音效的音效信息；

基于所述音效信息，在所述语音中添加所述待添加音效；

其中，所述音效信息为多种，所述对所述文本进行音效信息预测，以获得待添加音效的音效信息，包括：

采用音效信息预测模型的共享部分对所述文本进行处理，以获得共享输出信息；采用所述音效信息预测模型中的多个特定部分，对所述共享输出信息进行处理，以获得所述多种音效信息；或者，

采用多个音效信息预测模型，对所述文本进行预测，以获得所述多种音效信息；

其中，所述多种音效信息包括音效位置信息，所述音效位置信息用于指示音效的添加位置，且对应的文本内容描述正在发生的动作；

其中，所述音效信息预测模型是采用增强样本训练的，所述增强样本采用如下至少一种方式获得：对已有样本进行语义相似度扩展，以获得所述已有样本的语义相似文本，将所述语义相似文本作为所述增强文本；对所述已有样本中的特定关键词进行掩码处理，以获得掩码后的样本，将所述掩码后的样本作为所述增强样本；基于所述已有样本获取初始模型，采用所述初始模型获取带噪声无监督样本，将所述带噪声无监督样本作为所述增强文本。

2.根据权利要求1所述的方法，其中，所述多种音效信息包括音效位置信息和音效类型信息，所述多个音效信息预测模型包括音效位置预测模型和音效类型预测模型，所述采用多个音效信息预测模型，分别对所述文本进行预测，以获得所述多种音效信息，包括：

采用所述音效位置预测模型，对所述文本进行预测，以获得所述音效位置信息；

采用所述音效类型预测模型，对所述文本进行预测，以获得所述音效类型信息。

3.根据权利要求1所述的方法，其中，所述多种音效信息包括音效位置信息和音效类型信息，所述基于所述音效信息，在所述语音中添加所述待添加音效，包括：

基于预先配置的音效类型信息与音效之间的对应关系，确定所述音效类型预测模型获得的所述音效类型信息对应的音效，并基于所述确定的音效获取所述待添加音效；

在所述语音的所述音效位置信息对应的位置处，添加所述获取的所述待添加音效。

4.根据权利要求3所述的方法，其中，若所述待添加音效包含节奏信息，所述对应关系中的音效不包含节奏信息，所述多种音效信息还包括：音效节奏信息，所述多个音效信息预测模型还包括音效节奏预测模型，所述基于所述确定的音效获取所述待添加音效，包括：

采用所述音效节奏预测模型，对所述文本进行预测，以获得所述音效节奏信息；

基于所述音效节奏信息，对所述确定的音效进行处理，以获得包含所述音效节奏信息的所述待添加音效。

5.根据权利要求1-4任一项所述的方法，其中，所述基于所述音效信息，在所述语音中添加所述待添加音效，包括：

基于预设的配置信息，或者对所述文本进行语法分析，确定所述待添加音效的添加方式，所述添加方式包括：插入方式或者伴随方式；

采用所述添加方式，基于所述音效信息，在所述语音中添加所述待添加音效。