[发明专利]语音处理方法、装置、电子设备以及存储介质

权利要求书

1.一种语音处理方法，其特征在于，包括：

获取已标注的第一语音样本、未标注的第二语音样本、预训练的基础语音模型、流式语音处理模型和语言模型，所述基础语音模型包括非流式变换器，所述流式语音处理模型为将所述基础语音模型中的非流式变换器替换为流式变换器得到的；

根据所述第一语音样本对所述流式语音处理模型进行调整，得到调整后流式语音处理模型；

基于所述第一语音样本、第二语音样本以及所述流式语音处理模型对应的教师模型，对所述流式语音处理模型进行训练，得到训练后流式语音处理模型；

根据所述第一语音样本、基础语音模型以及语言模型对所述第二语音样本进行标注，得到标注后第二语音样本；

基于所述第一语音样本和标注后第二语音样本对训练后流式语音处理模型进行训练，得到目标语音处理模型，以通过所述目标语音处理模型对待处理语音进行处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一语音样本、第二语音样本以及所述流式语音处理模型对应的教师模型，对所述流式语音处理模型进行训练，得到训练后流式语音处理模型，包括：

获取所述流式语音处理模型对应的教师模型；

确定所述教师模型中网络层与所述流式语音处理模型中网络层之间的对应关系；

基于所述对应关系、第一语音样本以及第二语音样本对所述流式语音处理模型进行训练，得到训练后流式语音处理模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述对应关系、第一语音样本以及第二语音样本对所述流式语音处理模型进行训练，得到训练后流式语音处理模型，包括：

根据所述对应关系以及所述教师模型中网络层的网络参数，对所述流式语音处理模型进行初始化；

基于所述第一语音样本以及第二语音样本对初始化的流式语音处理模型进行训练，得到训练后流式语音处理模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一语音样本以及第二语音样本对初始化的流式语音处理模型进行训练，得到训练后流式语音处理模型，包括：

将所述第一语音样本以及第二语音样本输入至教师模型中，以及；

将所述第一语音样本以及第二语音样本输入至初始化的流式语音处理模型中；

基于所述教师模型的输出以及初始化的流式语音处理模型的输出，计算所述教师模型与初始化的流式语音处理模型之间的蒸馏损失、以及所述初始化的流式语音处理模型的模型损失；

根据所述蒸馏损失与模型损失对初始化的流式语音处理模型进行训练，得到训练后流式语音处理模型。

5.根据权利要求2所述的方法，其特征在于，所述确定所述教师模型中网络层与所述流式语音处理模型中网络层之间的对应关系，包括：

提取所述教师模型中网络层对应的权重信息，得到第一权重信息，以及；

提取所述流式语音处理模型中网络层对应的权重信息，得到第二权重信息；

基于所述第一权重信息与第二权重信息之间的相似度，确定所述教师模型中网络层与所述流式语音处理模型中网络层之间的对应关系。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一语音样本对所述流式语音处理模型进行调整，得到调整后流式语音处理模型，包括：

获取预设时序分类算法；

基于所述时序分类算法以及第一语音样本的标签对所述流式语音处理模型进行调整，得到调整后流式语音处理模型。

7.根据权利要求6所述的方法，其特征在于，所述基于所述时序分类算法以及第一语音样本的标签对所述流式语音处理模型进行调整，得到调整后流式语音处理模型，包括：

在所述第一语音样本中相邻第一语音元素之间插入间隔标识，得到处理后第一语音样本；

利用所述时序分类算法预测所述处理后第一语音样本对应的标签；

基于所述第一语音样本对应的标签和所述处理后第一语音样本对应的标签，构建所述时序分类算法对应的时序分类损失；

根据所述时序分类损失对所述流式语音处理模型进行调整，得到调整后流式语音处理模型。