[发明专利]图像字符识别方法、装置、介质及电子设备

权利要求书

1.一种图像字符识别方法，其特征在于，所述方法包括：

接收待识别图像，其中，所述待识别图像中包含多个语种的字符；

根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果；

其中，所述字符识别模型中包含字符识别子模型和语种分类子模型，所述语种分类子模型用于基于所述待识别图像对应的语义特征对所述多个语种的字符进行语种分类，所述字符识别子模型用于对所述多个语种的字符进行识别；

其中，所述字符识别模型还包括特征提取子模型；

所述根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果，包括：

通过所述特征提取子模型提取所述待识别图像的图像特征；

通过所述语种分类子模型对所述图像特征进行语义特征编码，获得所述图像特征对应的语义特征，并根据所述语义特征进行语种分类，获得所述语种分类结果，以及通过所述字符识别子模型对所述图像特征进行解码，以获得所述字符识别结果。

2.根据权利要求1所述的方法，其特征在于，所述特征提取子模型的输出分别与所述语种分类子模型和所述字符识别子模型的输入耦合。

3.根据权利要求1所述的方法，其特征在于，所述字符识别子模型包括Transformer模型的解码器和第一全连接层，所述语种分类子模型包括Transformer模型的编码器和第二全连接层。

4.根据权利要求1所述的方法，其特征在于，所述字符识别模型通过以下方式进行训练：

确定多组图像训练样本中的训练图像的每一训练字符行图像，其中，每组所述图像训练样本中包括所述训练图像，以及与所述训练图像对应的字符标注结果和语种标注结果；

针对每组图像训练样本，以该图像训练样本中的所述训练图像的每一训练字符行图像作为第一预设模型的输入，以所述训练图像对应的字符标注结果和语种标注结果作为所述第一预设模型的目标输出，对所述第一预设模型进行训练，获得所述字符识别模型，其中，所述第一预设模型包括特征提取子模型和第二预设模型，所述第二预设模型包括语种分类子模型和字符识别子模型，所述第二预设模型是基于多组文本训练样本进行预先训练所得的模型，每一组文本训练样本包括训练文本以及该训练文本对应的语种标注结果。

5.根据权利要求4所述的方法，其特征在于，所述字符识别模型通过如下方式进行更新：

获取待增加的目标语种下的多组微调训练样本，其中，每组微调训练样本中包含微调训练图像，以及与所述微调训练图像对应的字符标注结果和语种标注结果；

针对每组微调训练样本，以该微调训练样本中的所述微调训练图像的每一微调训练字符行图像作为所述字符识别模型的输入，以所述微调训练图像对应的字符标注结果和语种标注结果作为所述字符识别模型的目标输出，对所述字符识别模型进行微调，以获得更新后的所述字符识别模型。

6.根据权利要求1所述的方法，其特征在于，所述待识别图像中包含多个字符行；

所述根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果，包括：

确定所述待识别图像中的每一字符行信息；

根据每一所述字符行信息从所述待识别图像中确定每一字符行图像；

通过所述特征提取子模型提取每一所述字符行图像的图像特征；

通过所述字符识别子模型对所述图像特征进行处理，以获得所述字符识别结果，以及通过所述语种分类子模型对所述图像特征进行处理，以获得所述语种分类结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述字符识别结果和所述语种分类结果，输出所述待识别图像的识别结果，所述识别结果包括所述待识别图像中的每一字符行文本以及与该字符行文本对应的语种标识。