[发明专利]模型训练、语音识别方法及装置、电子设备及存储介质

说明书

本申请实施例提供了一种模型训练、语音识别方法及装置、电子设备及存储介质，涉及语音识别技术领域，模型训练方法包括：获取第一对象和第二对象分别对应的多个样本语音数据，以及样本语音数据对应的文本信息和身份信息；对样本语音数据进行编码处理，得到声学特征信息；对声学特征信息进行特征提取和预测处理，得到对应的身份特征信息和预测身份信息；对声学特征信息和身份特征信息进行解码处理，得到第一预测文本信息；基于预测身份信息和身份信息确定身份损失值；以及基于第一预测文本信息和文本信息确定文本损失值；根据身份损失值和文本损失值确定目标损失值，并基于目标损失值对语音识别模型进行训练。本申请可以提高语音识别的准确性。

技术领域

本申请实施例涉及语音识别技术领域，尤其涉及一种模型训练、语音识别方法及装置、电子设备及存储介质。

背景技术

近年来，随着机器学习、深度学习的发展，语音识别技术中声学模型也逐渐由传统的高斯混合模型转变为深度神经网络模型，深度神经网络模型显著提升了语音识别的准确率，使得语音识别能够更好的应用于我们的日常生活。

教育场景下的语音识别，主要是对教学场景中老师及学生的说话内容进行识别。相关技术中，可以将老师和学生数据混合训练，但是由于成人和儿童的发音在生理特征上存在较大的差异，无法保证训练得到的模型在老师端和学生端同时得到理想效果。或者，还可以将老师和学生数据独立训练，由于学生数据相比老师数据较少，因此，语音识别的准确性较低，并且需要训练两个模型，成本较高。

发明内容

有鉴于此，本申请实施例提供一种模型训练、语音识别方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种语音识别模型训练方法，包括：

获取第一对象和第二对象分别对应的多个样本语音数据，以及所述样本语音数据对应的文本信息和身份信息；

通过语音识别模型中的编码网络部分对所述样本语音数据进行编码处理，得到声学特征信息；

通过所述语音识别模型中的身份预测网络部分对所述声学特征信息进行特征提取和预测处理，得到对应的身份特征信息和预测身份信息；

通过所述语音识别模型中的语音解码网络部分对所述声学特征信息和所述身份特征信息进行解码处理，得到第一预测文本信息；

基于所述预测身份信息和所述身份信息确定身份损失值；以及基于所述第一预测文本信息和所述文本信息确定文本损失值；

根据所述身份损失值和所述文本损失值确定目标损失值，并基于所述目标损失值对所述语音识别模型进行训练。

根据本申请实施例的第二方面，提供了一种语音识别方法，包括：

获取待识别的语音数据；

通过语音识别模型对所述语音数据进行识别，得到文本信息和身份信息；

其中，所述语音识别模型基于第一方面所述的方法训练得到。

根据本申请实施例的第三方面，提供了一种语音识别模型训练装置，包括：

样本数据获取模块，用于获取第一对象和第二对象分别对应的多个样本语音数据，以及所述样本语音数据对应的文本信息和身份信息；

编码模块，用于通过语音识别模型中的编码网络部分对所述样本语音数据进行编码处理，得到声学特征信息；

身份预测模块，用于通过所述语音识别模型中的身份预测网络部分对所述声学特征信息进行特征提取和预测处理，得到对应的身份特征信息和预测身份信息；

第一文本预测模块，用于通过所述语音识别模型中的语音解码网络部分对所述声学特征信息和所述身份特征信息进行解码处理，得到第一预测文本信息；