[发明专利]文字识别模型的训练方法及装置、存储介质、电子设备

权利要求书

1.一种文字识别模型的训练方法，其特征在于，包括：

根据历史图像以及所述历史图像的真实文字标签，构建数据集，并将所述数据集中的历史图像输入至训练完成的教师模型中，得到所述历史图像的软目标标签；

将所述数据集中的历史图像输入至与所述教师模型具有相同输出层的学生模型中，得到所述历史图像的软预测标签以及实际预测标签；

根据所述软目标标签以及软预测标签构建第一损失函数，并根据所述真实文字标签以及实际预测标签构建第二损失函数；

根据所述第一损失函数以及第二损失函数对所述学生模型进行蒸馏训练，得到训练完成的文字识别模型。

2.根据权利要求1所述的文字识别模型的训练方法，其特征在于，将所述数据集中的历史图像输入至训练完成的教师模型中，得到所述历史图像的软目标标签，包括：

将所述数据集中的历史图像输入至训练完成的教师模型中，得到第一响应特征矩阵；

通过所述训练完成的教师模型中包括的带有温度系数的第一Softmax-T层对所述第一响应特征矩阵进行激活处理，得到第一字符后验概率矩阵。

3.根据权利要求1所述的文字识别模型的训练方法，其特征在于，将所述数据集中的历史图像输入至与所述教师模型具有相同输出层的学生模型中，得到所述历史图像的软预测标签以及实际预测标签，包括：

将所述数据集中的历史图像输入至与所述教师模型具有相同输出层的学生模型中，得到第二响应特征矩阵；

通过所述学生模型中包括的带有温度系数的第二Softmax-T层对所述第二响应特征矩阵进行激活处理，第二字符后验概率矩阵；

通过所述学生模型中包括的第三Softmax层对所述第二响应特征矩阵进行激活处理，得到所述第三字符后验概率矩阵。

4.根据权利要求1所述的文字识别模型的训练方法，其特征在于，根据所述软目标标签以及软预测标签构建第一损失函数，包括：

对所述软目标标签以及软预测标签进行时间序列对齐；

计算对齐后的软目标标签与所述软预测标签之间的交叉熵，并根据所述交叉熵构建所述第一损失函数。

5.根据权利要求1所述的文字识别模型的训练方法，其特征在于，根据所述真实文字标签以及实际预测标签构建第二损失函数，包括：

计算所述实际预测标签中所包括的第三字符后验概率矩阵中，构成所述真实文字标签的所有路径的路径集合；

计算所述路径集合中每一条路径中所包括的每一个元素属于所述真实文字标签中对应位置上的元素的概率的乘积；

对所述路径集合中所包括的所有路径的概率的乘积进行求和，并以求和结果为最大值为目标，构建所述第二损失函数。

6.根据权利要求1所述的文字识别模型的训练方法，其特征在于，根据所述第一损失函数以及第二损失函数对所述学生模型进行蒸馏训练，得到训练完成的文字识别模型，包括：

对所述第一损失函数以及第二损失函数进行加权平均，得到目标损失函数，并利用所述目标损失函数对所述学生模型进行蒸馏训练，得到训练完成的文字识别模型。

7.根据权利要求2所述的文字识别模型的训练方法，其特征在于，所述文字识别模型的训练方法还包括：

利用所述数据集对教师模型进行训练，得到所述训练完成的教师模型；

其中，所述教师模型包括单模式教师模型或多模型教师模型，当所述教师模型为多模式教师模型时，所述教师模型的模式包括异域同构模式、同域异构模型以及异域异构模式中的至少一种。