[发明专利]图像字符识别模型训练方法、图像字符识别方法及装置

权利要求书

1.一种图像字符识别模型训练方法，其特征在于，所述方法包括：

将训练图像输入第一模型，得到所述第一模型输出的显示字符对应的第一特征向量和遮蔽字符对应的第二特征向量，所述训练图像包括至少一个显示字符区域和至少一个遮蔽字符区域，所述显示字符区域包括至少一个所述显示字符，所述所述遮蔽字符区域用于遮蔽至少一个所述遮蔽字符；

将所述遮蔽字符的第二特征向量输入第二模型，得到所述第二模型输出的遮蔽字符的预测字符；

根据与所述训练图像对应的字符标识和所述遮蔽字符区域的预测字符，训练图像字符识别模型，所述图像字符识别模型包括所述第一模型和所述第二模型，所述字符标识用于标识所述遮蔽字符。

2.根据权利要求1所述的方法，其特征在于，所述遮蔽字符区域用于遮蔽遮蔽分词，所述遮蔽分词包括至少两个遮蔽字符，所述字符标识用于标记所述遮蔽分词。

3.根据权利要求1所述的方法，其特征在于，所述第一模型由编码器构成。

4.根据权利要求3所述的方法，其特征在于，所述第一模型还包括视觉词嵌入层，所述将训练图像输入第一模型，得到所述第一模型输出的显示字符对应的第一特征向量和遮蔽字符对应的第二特征向量，包括：

将显示字符区域和遮蔽字符区域输入所述视觉词嵌入层，得到显示字符对应的第一字向量和所述遮蔽字符对应的第二字向量；

将所述第一字向量和所述第二字向量输入所述编码器，得到所述第一模型输出的显示字符对应的第一特征向量和遮蔽字符对应的第二特征向量。

5.根据权利要求4所述的方法，其特征在于，所述第一模型还包括感兴趣区域对齐层，所述显示字符区域和所述遮蔽字符区域是将所述训练图像输入所述感兴趣区域对齐层得到的。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述字符标识为所述遮蔽字符在预设字典中的字符序号。

7.一种图像字符识别方法，其特征在于，所述方法包括：

将待识别图像输入图像字符识别模型，所述待识别图像包括至少一个待识别字符，所述图像字符识别模型是基于上述权利要求1-6任一项所述的图像字符识别模型的训练方法训练得到的；

获取所述图像字符识别模型输出的识别结果。

8.一种图像字符识别模型训练装置，其特征在于，所述装置包括：

第一输入单元，用于将训练图像输入第一模型，得到所述第一模型输出的显示字符对应的第一特征向量和遮蔽字符对应的第二特征向量，所述训练图像包括至少一个显示字符区域和至少一个遮蔽字符区域，所述显示字符区域包括至少一个所述显示字符，所述所述遮蔽字符区域用于遮蔽至少一个所述遮蔽字符；

第二输入单元，用于将所述遮蔽字符的第二特征向量输入第二模型，得到所述第二模型输出的遮蔽字符的预测字符；

训练单元，用于根据与所述训练图像对应的字符标识和所述遮蔽字符区域的预测字符，训练图像字符识别模型，所述图像字符识别模型包括所述第一模型和所述第二模型，所述字符标识用于标识所述遮蔽字符。

9.一种图像字符识别装置，其特征在于，所述装置包括：

输入单元，用于将待识别图像输入图像字符识别模型，所述待识别图像包括至少一个待识别字符，所述图像字符识别模型是基于上述权利要求1-6任一项所述的图像字符识别模型的训练方法训练得到的；

识别单元，用于获取所述图像字符识别模型输出的识别结果。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

11.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。