[发明专利]用于识别图像中的字符的方法、装置、设备和介质

权利要求书

1.一种识别图像中的字符的方法，包括：

提取所述图像的特征表示；

通过对所述特征表示应用注意力机制来确定针对多个字符识别模型的相应的多个注意力特征表示，所述多个字符识别模型分别被配置用于识别多个类型的字符；以及

按照预定顺序利用所述多个字符识别模型来分别处理所述多个注意力特征表示，以识别所述图像中与所述多个类型相关的字符，所述多个字符识别模型中的前一字符识别模型生成的中间处理结果被提供给后一字符识别模型，以供所述后一字符识别模型通过处理所述中间处理结果和相应注意力特征表示来识别相应类型的字符。

2.根据权利要求1所述的方法，其中所述多个字符识别模型按照所述预定顺序被训练得到，并且

其中在所述多个字符识别模型中的前一字符识别模型被训练到收敛状态之后，所述前一字符识别模型生成的中间处理结果被提供用于所述后一字符识别模型的训练。

3.根据权利要求1所述的方法，其中所述多个字符识别模型中的至少一个字符识别模型在第一训练阶段利用合成图像被训练，并且在随后的第二训练阶段利用真实采集图像被训练，所述合成图像通过将所述多个类型的样本字符合成到背景图像中而生成。

4.根据权利要求1所述的方法，其中提取所述图像的特征表示包括：

利用基于卷积神经网络的模型来提取所述图像的特征表示。

5.根据权利要求1所述的方法，其中确定所述多个注意力特征表示包括：针对所述多个字符识别模型中的给定字符识别模型，

确定针对所述给定字符识别模型的注意力掩模，所述注意力掩模指示所述特征表示中对该字符识别模型要识别的类型的字符的重要度高于预定阈值的一部分特征信息；以及

通过将所述注意力掩模和所述特征表示组合，来确定针对所述给定字符识别模型的注意力特征表示。

6.根据权利要求1所述的方法，其中所述多个字符识别模型中的至少一个字符识别模型包括基于循环神经网络的模型。

7.根据权利要求1所述的方法，其中所述多个类型中的至少一个类型对应于所述图像中至少两个区域的字符，所述至少两个区域的字符具有相关联的语义。

8.一种用于识别图像中的字符的装置，包括：

特征提取模块，被配置为提取所述图像的特征表示；

注意力机制模块，被配置为通过对所述特征表示应用注意力机制来确定针对多个字符识别模型的相应的多个注意力特征表示，所述多个字符识别模型分别被配置用于识别多个类型的字符；以及

字符识别模块，被配置为利用所述多个字符识别模型来分别处理所述多个注意力特征表示，以识别所述图像中与所述多个类型相关的字符，其中所述字符识别模块包括：

按顺序识别模块，被配置为按照预定顺序利用所述多个字符识别模型来分别处理所述多个注意力特征表示，所述多个字符识别模型中的前一字符识别模型生成的中间处理结果被提供给后一字符识别模型，以供所述后一字符识别模型通过处理所述中间处理结果和相应注意力特征表示来识别相应类型的字符。

9.根据权利要求8所述的装置，其中所述多个字符识别模型按照所述预定顺序被训练得到，并且

其中在所述多个字符识别模型中的前一字符识别模型被训练到收敛状态之后，所述前一字符识别模型生成的中间处理结果被提供用于所述后一字符识别模型的训练。

10.根据权利要求8所述的装置，其中所述多个字符识别模型中的至少一个字符识别模型在第一训练阶段利用合成图像被训练，并且在随后的第二训练阶段利用真实采集图像被训练，所述合成图像通过将所述多个类型的样本字符合成到背景图像中而生成。

11.根据权利要求8所述的装置，其中所述特征提取模块包括：

基于模型的提取模块，被配置为利用基于卷积神经网络的模型来提取所述图像的特征表示。