[发明专利]场景文字识别方法、装置、电子设备及存储介质

权利要求书

1.一种场景文字识别方法，其特征在于，包括：

获取待识别的场景图像；

将所述场景图像输入至场景文字识别模型，得到所述场景文字识别模型输出的文字识别结果；

其中，所述场景文字识别模型是基于基础训练、文字掩码增强训练和插值查询增强训练得到的；

所述基础训练为基于样本场景图像，以及所述样本场景图像对应的文字识别标签对所述场景文字识别模型进行训练；

所述文字掩码增强训练为在样本场景图像的图像编码特征中擦除若干个文字，以及在所述样本场景图像对应的文字识别标签中擦除所述若干个文字的识别标签，基于擦除后的图像编码特征和擦除后的文字识别标签对所述场景文字识别模型进行训练；

所述插值查询增强训练为在样本场景图像中对若干对相邻文字的查询向量进行插值，以及在所述样本场景图像对应的文字识别标签中对所述若干对相邻文字的识别标签进行插值，基于插值后的查询向量和插值后的文字识别标签对所述场景文字识别模型进行训练；

所述场景文字识别模型是基于如下步骤训练得到的：

基于每一样本场景图像的图像编码特征和各文字的查询向量，以及每一样本场景图像对应的文字识别标签，采用注意力机制对初始模型进行基础训练、文字掩码增强训练和插值查询增强训练，得到所述场景文字识别模型；

其中，任一样本场景图像中各文字的查询向量是基于各文字在所述任一样本场景图像中的识别次序和所述任一样本场景图像的图像编码特征的特征深度确定的；

所述基于每一样本场景图像的图像编码特征和各文字的查询向量，以及每一样本场景图像对应的文字识别标签，采用注意力机制对初始模型进行文字掩码增强训练，得到所述场景文字识别模型，包括：

在任一样本场景图像的图像编码特征中随机选择若干个文字进行擦除，得到擦除后的图像编码特征；

在所述任一样本场景图像对应的文字识别标签中擦除所述若干个文字的识别标签，得到擦除后的文字识别标签；

基于每一样本场景图像对应的擦除后的图像编码特征和擦除后的文字识别标签，采用注意力机制对所述初始模型进行增强训练，得到所述场景文字识别模型；

所述基于每一样本场景图像的图像编码特征和各文字的查询向量，以及每一样本场景图像对应的文字识别标签，采用注意力机制对初始模型进行插值查询增强训练，得到所述场景文字识别模型，包括：

确定任一样本场景图像中若干对相邻文字的查询向量；任一对相邻文字包括第一文字和第二文字；

对于任一对相邻文字，基于第一文字的查询向量和第一插值权重，以及第二文字的查询向量和第二插值权重，确定所述任一对相邻文字的插值查询向量，并基于第一文字的识别标签和所述第一插值权重，以及第二文字的识别标签和所述第二插值权重，确定所述任一对相邻文字的插值识别标签；

基于每一样本场景图像中若干对相邻文字的插值查询向量和插值识别标签，采用注意力机制对所述初始模型进行增强训练，得到所述场景文字识别模型。

2.根据权利要求1所述的场景文字识别方法，其特征在于，所述将所述场景图像输入至场景文字识别模型，得到所述场景文字识别模型输出的文字识别结果，包括：

将所述场景图像输入至所述场景文字识别模型的视觉识别层，得到所述视觉识别层输出的图像编码特征和初始识别结果；

将所述初始识别结果输入至所述场景文字识别模型的语言纠正层，得到所述语言纠正层输出的语言纠正特征；

将所述图像编码特征和所述语言纠正特征输入至所述场景文字识别模型的融合识别层，得到所述融合识别层输出的文字识别结果。

3.根据权利要求2所述的场景文字识别方法，其特征在于，所述将所述场景图像输入至所述场景文字识别模型的视觉识别层，得到所述视觉识别层输出的图像编码特征和初始识别结果，包括：

将所述场景图像输入至所述视觉识别层的特征编码层，得到所述特征编码层输出的图像编码特征；

将所述图像编码特征输入至所述视觉识别层的特征解码层，由所述特征解码层确定所述场景图像中各文字的查询向量，并基于各文字的查询向量和所述图像编码特征，确定所述场景图像的初始识别结果。

4.根据权利要求3所述的场景文字识别方法，其特征在于，所述特征编码层是基于ResNet50和Transformer确定的。