[发明专利]语音识别模型的训练方法、装置、存储介质及电子设备

说明书

本公开涉及语音识别领域，具体涉及一种语音识别模型的训练方法、装置、存储介质及电子设备。该语音识别模型的训练方法包括构建初始语音识别模型；固定第二初始参数，基于无标注数据集计算对比学习损失函数以将第一初始参数调整为第一中间参数；固定第一中间参数，基于有标注数据集计算第一联合损失函数以将第二初始参数调整为第二中间参数；基于有标注数据集计算第二联合损失函数，并根据第二联合损失函数对第一网络和第二网络进行训练，以调整第一中间参数和第二中间参数得到目标语音识别模型。本公开提供的语音识别模型的训练方法能够解决语音识别模型在标注数据不足时识别性能低的问题。

技术领域

本公开涉及语音识别领域，具体涉及一种语音识别模型的训练方法、语音识别模型的训练装置、存储介质及电子设备。

背景技术

近年来，随着深度学习技术的高速发展，基于端到端深度神经网络的自动语音识别(Automatic Speech Recognition：ASR)已经逐渐发展成为当前语音识别领域的主流技术。

由于端到端ASR模型参数量较大，模型的性能往往依赖于大量的标注数据。并且通常情况下，自监督ASR方法主要在CTC(Connectionist temporal classification，时序数据分类算法)框架下进行，CTC框架假设语音特征表示帧间独立，与实际情况有所出入，性能受限。因此还需要进一步提高语音识别模型在标注数据不足的条件下的识别性能。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种语音识别模型的训练方法、语音识别模型的训练装置、存储介质及电子设备，旨在解决语音识别模型在标注数据不足时识别性能低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一方面，提供了一种语音识别模型的训练方法，包括：构建初始语音识别模型；其中，所述初始语音识别模型包括具有第一初始参数的第一网络和具有第二初始参数的第二网络；固定所述第二初始参数，基于无标注数据集计算对比学习损失函数，并根据所述对比学习损失函数对所述第一网络进行自监督训练，以将所述第一初始参数调整为第一中间参数；固定所述第一中间参数，基于有标注数据集计算第一联合损失函数，并根据所述第一联合损失函数对所述第二网络进行训练，以将所述第二初始参数调整为第二中间参数；基于所述有标注数据集计算第二联合损失函数，并根据所述第二联合损失函数对所述第一网络和所述第二网络进行训练，以调整所述第一中间参数和所述第二中间参数得到目标语音识别模型。

根据本公开的一些实施例，基于前述方案，所述第一网络包括卷积神经网络模块和卷积增强模块。

根据本公开的一些实施例，基于前述方案，所述基于无标注数据集计算对比学习损失函数，包括：基于所述卷积神经网络模块计算所述无标注数据集中一音频样本数据的浅层表示结果；对所述浅层表示结果进行掩码处理得到掩码表示结果，并基于所述卷积增强模块计算所述掩码表示结果的深层表示结果；以及将所述浅层表示结果进行线性变换得到目标表示结果；基于所述深层表示结果和所述目标表示结果计算所述对比学习损失函数。

根据本公开的一些实施例，基于前述方案，所述对所述浅层表示结果进行掩码处理得到掩码表示结果，包括：基于随机掩码概率从所述浅层表示结果中进行随机选取得到种子样本帧；将所述浅层表示结果中所述种子样本帧之后的连续K帧的特征矢量替换为可学习向量得到所述掩码表示结果，其中K为正整数。