[发明专利]语音识别模型的训练方法、装置、存储介质及电子设备

权利要求书

1.一种语音识别模型的训练方法，其特征在于，包括：

构建初始语音识别模型；其中，所述初始语音识别模型包括具有第一初始参数的第一网络和具有第二初始参数的第二网络；

固定所述第二初始参数，基于无标注数据集计算对比学习损失函数，并根据所述对比学习损失函数对所述第一网络进行自监督训练，以将所述第一初始参数调整为第一中间参数；

固定所述第一中间参数，基于有标注数据集计算第一联合损失函数，并根据所述第一联合损失函数对所述第二网络进行训练，以将所述第二初始参数调整为第二中间参数；

基于所述有标注数据集计算第二联合损失函数，并根据所述第二联合损失函数对所述第一网络和所述第二网络进行训练，以调整所述第一中间参数和所述第二中间参数得到目标语音识别模型。

2.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述第一网络包括卷积神经网络模块和卷积增强模块。

3.根据权利要求2所述的语音识别模型的训练方法，其特征在于，所述基于无标注数据集计算对比学习损失函数，包括：

基于所述卷积神经网络模块计算所述无标注数据集中一音频样本数据的浅层表示结果；

对所述浅层表示结果进行掩码处理得到掩码表示结果，并基于所述卷积增强模块计算所述掩码表示结果的深层表示结果；以及

将所述浅层表示结果进行线性变换得到目标表示结果；

基于所述深层表示结果和所述目标表示结果计算所述对比学习损失函数。

4.根据权利要求3所述的语音识别模型的训练方法，其特征在于，所述对所述浅层表示结果进行掩码处理得到掩码表示结果，包括：

基于随机掩码概率从所述浅层表示结果中进行随机选取得到种子样本帧；

将所述浅层表示结果中所述种子样本帧之后的连续K帧的特征矢量替换为可学习向量得到所述掩码表示结果，其中K为正整数。

5.根据权利要求3所述的语音识别模型的训练方法，其特征在于，所述基于所述深层表示结果和所述目标表示结果计算所述对比学习损失函数，包括：

从所述深层表示结果中的掩码部分选取M帧锚样本作为第一样本，其中M为正整数；以及

从所述目标表示结果中选取与所述第一样本中M帧锚样本一一对应的M帧锚样本作为第二样本，以及选取S帧负样本作为第三样本，其中S为正整数；

基于所述第一样本和所述第二样本之间的相似度和所述第一样本和所述第三样本之间的相似度计算所述对比学习损失函数。

6.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述第二网络包括特征变形模块。

7.根据权利要求1所述的语音识别模型的训练方法，其特征在于，所述方法还包括：

基于预设的音频采样率获取音频样本数据，并将所述音频样本数据划分为第一音频样本和第二音频样本；

计算所述第一音频样本的音频特征矩阵以得到所述无标注数据集；以及

根据计算的所述第二音频样本的音频特征矩阵和获取的所述第二音频样本的文本标注结果得到所述有标注数据集。

8.一种语音识别模型的训练装置，其特征在于，包括：

构建模型模块，用于构建初始语音识别模型；其中，所述初始语音识别模型包括具有第一初始参数的第一网络和具有第二初始参数的第二网络；

第一训练模块，用于固定所述第二初始参数，基于无标注数据集计算对比学习损失函数，并根据所述对比学习损失函数对所述第一网络进行自监督训练，以将所述第一初始参数调整为第一中间参数；

第二训练模块，用于固定所述第一中间参数，基于有标注数据集计算第一联合损失函数，并根据所述第一联合损失函数对所述第二网络进行训练，以将所述第二初始参数调整为第二中间参数；

模型调整模块，用于基于所述有标注数据集计算第二联合损失函数，并根据所述第二联合损失函数对所述第一网络和所述第二网络进行训练，以调整所述第一中间参数和所述第二中间参数得到目标语音识别模型。