[发明专利]语音识别方法、装置、介质及电子设备

权利要求书

1.一种语音识别方法，其特征在于，包括：

获取目标视频数据，所述目标视频数据包括目标音频数据和目标图像数据；

将所述目标音频数据输入至语音识别模型中，以得到所述目标音频数据对应的第一文本数据；

将所述目标图像数据输入至描述信息生成模型中，以通过所述描述信息生成模型提取所述目标图像数据的特征信息，并根据所述特征信息，生成用于描述所述目标图像数据的第二文本数据；

根据所述第二文本数据，对所述第一文本数据进行修正，得到修正后的第一文本数据；

所述语音识别模型和所述描述信息生成模型通过如下方式训练得到：

获取第一参考文本数据；

通过将所述第一参考文本数据、所述语音识别模型的输出以及所述描述信息生成模型的输出作为语音合成模型的输入，将所述语音合成模型的输出作为所述语音识别模型的输入，将所述第一参考文本数据作为所述语音识别模型的目标输出，将所述第一参考文本数据、所述语音识别模型的输出以及所述描述信息生成模型的输出作为图像生成模型的输入，将所述图像生成模型的输出作为所述描述信息生成模型的输入，将所述第一参考文本数据作为所述描述信息生成模型的目标输出的方式进行模型训练，以得到所述语音识别模型和所述描述信息生成模型。

2.根据权利要求1所述的方法，其特征在于，在进行模型训练之前，所述方法还包括：

对所述语音识别模型和所述描述信息生成模型进行预训练。

3.根据权利要求2所述的方法，其特征在于，所述对所述语音识别模型和所述描述信息生成模型进行预训练，包括：

获取第二参考文本数据；

通过将所述第二参考文本数据和所述语音识别模型的输出作为所述语音合成模型的输入，将所述语音合成模型的输出作为所述语音识别模型的输入，将所述第二参考文本数据作为所述语音识别模型的目标输出的方式对所述语音识别模型进行预训练；

通过将所述第二参考文本数据、所述描述信息生成模型的输出以及预训练后所得的语音识别模型的输出作为所述图像生成模型的输入，将所述图像生成模型的输出作为所述描述信息生成模型的输入，将所述第二参考文本数据作为所述描述信息生成模型的目标输出的方式对所述描述信息生成模型进行预训练。

4.根据权利要求2所述的方法，其特征在于，所述对所述语音识别模型和所述描述信息生成模型进行预训练，包括：

获取第二参考文本数据；

通过将所述第二参考文本数据和所述描述信息生成模型的输出作为所述图像生成模型的输入，将所述图像生成模型的输出作为所述描述信息生成模型的输入，将所述第二参考文本数据作为所述描述信息生成模型的目标输出的方式对所述描述信息生成模型进行预训练；

通过将所述第二参考文本数据、所述语音识别模型的输出以及预训练后所得的描述信息生成模型的输出作为所述语音合成模型的输入，将所述语音合成模型的输出作为所述语音识别模型的输入，将所述第二参考文本数据作为所述语音识别模型的目标输出的方式对所述语音识别模型进行预训练。