[发明专利]唇语识别模型的处理方法、装置、计算机设备和存储介质

权利要求书

1.一种唇语识别模型的处理方法，其特征在于，所述方法包括：

获取训练样本并获取前次交替训练更新的学生模型与大师模型，每个所述训练样本包括视频帧序列以及对应的音频信号；

根据所述学生模型与所述大师模型分别对从所述训练样本中获取的临时训练样本进行唇语识别获得的结果确定临时学生损失，基于所述临时学生损失更新所述学生模型获得临时学生模型；

根据所述临时学生模型对从所述训练样本中获取的验证样本进行唇语识别获得的结果与所述验证样本的标签数据，确定学生反馈损失，并根据所述大师模型对从所述训练样本中获取的大师训练样本进行唇语识别获得的结果与所述大师训练样本的标签数据，确定大师识别损失；

根据所述学生反馈损失与所述大师识别损失获得当次交替训练更新的大师模型，基于所述当次交替训练更新的大师模型和所述训练样本对所述前次交替训练更新的学生模型进行模型训练，获得当次交替训练更新的学生模型；

基于当次交替训练更新的学生模型与大师模型，返回所述获取前次交替训练更新的学生模型与大师模型的步骤继续交替训练，根据训练停止时更新的学生模型获得唇语识别模型。

2.根据权利要求1所述的方法，其特征在于，所述学生模型对训练样本进行唇语识别的步骤包括：

将所述训练样本中的视频帧序列输入所述学生模型；

通过所述学生模型的特征提取层，提取所述视频帧序列对应的视频特征；

通过所述学生模型的特征映射层，根据所述视频特征获得视频输出向量；

通过所述学生模型的输出层，根据所述视频输出向量获得唇语识别结果。

3.根据权利要求1所述的方法，其特征在于，所述大师模型对训练样本进行唇语识别的步骤包括：

将所述训练样本输入所述大师模型；

通过所述大师模型中的视频处理网络，对所述训练样本中的视频帧序列进行处理，获得第一唇语识别结果；

通过所述大师模型中的音频处理网络，对所述训练样本中的音频信号进行处理，获得第二唇语识别结果；

通过所述大师模型中的视听处理网络，基于所述视频处理网络根据所述视频帧序列获得的视频输出向量与所述音频处理网络根据所述音频信号获得的音频输出向量，获得视听组合输出向量，基于所述视听组合输出向量，获得第三唇语识别结果。

4.根据权利要求3所述的方法，其特征在于，所述通过所述大师模型中的视频处理网络，对所述训练样本中的视频帧序列进行处理，获得第一唇语识别结果，包括：

将所述训练样本中的视频帧序列输入所述大师模型的视频处理网络；

通过所述视频处理网络的特征提取层，提取所述视频帧序列对应的视频特征，通过所述视频处理网络的特征映射层，根据所述视频特征获得所述视频输出向量，通过所述视频处理网络的输出层，根据所述视频输出向量获得第一唇语识别结果。

5.根据权利要求3所述的方法，其特征在于，所述通过所述大师模型中的音频处理网络，对所述训练样本中的音频信号进行处理，获得第二唇语识别结果，包括：

将所述训练样本中的音频信号输入所述大师模型的音频处理网络；

通过所述音频处理网络的特征提取层，提取所述音频信号对应的音频特征，通过所述音频处理网络的特征映射层，根据所述音频特征获得音频输出向量，通过所述音频处理网络的输出层，根据所述音频输出向量获得第二唇语识别结果。

6.根据权利要求3所述的方法，其特征在于，当所述学生模型用于单词级唇语识别时，所述通过所述大师模型中的视听处理网络，基于所述视频处理网络根据所述视频帧序列获得的视频输出向量与所述音频处理网络根据所述音频信号获得的音频输出向量，获得视听组合输出向量，基于所述视听组合输出向量，获得第三唇语识别结果，包括：

将所述视频输出向量与所述音频输出向量输入大师模型的视听处理网络；

通过所述视听处理网络的级联层，将所述视频输出向量与所述音频输出向量进行级联，获得视听组合输出向量，通过所述视听处理网络的输出层，根据所述视听组合输出向量，获得第三唇语识别结果。