[发明专利]图像字符识别方法、装置、介质及电子设备

权利要求书

1.一种图像字符识别方法，其特征在于，所述方法包括：

接收待识别图像，其中，所述待识别图像中包含多个语种的字符；

根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果；

其中，所述字符识别模型包括解码模块，在所述解码模块对所述待识别图像的图像特征进行迭代解码的过程中，基于解码获得的每一解码特征进行字符识别和语种分类，以获得所述字符识别结果和所述语种分类结果；

所述字符识别模型还包括特征提取子模型，所述特征提取子模型的输出与所述解码模块的输入耦合，所述待识别图像中包含多个字符行，所述根据所述待识别图像和字符识别模型，确定所述待识别图像对应的字符识别结果和语种分类结果，包括：

确定所述待识别图像中的每一字符行信息；

根据每一所述字符行信息从所述待识别图像中确定每一字符行图像；

针对每一所述字符行图像，通过所述特征提取子模型提取所述字符行图像的图像特征；

在所述解码模块对所述图像特征进行迭代解码的过程中，针对所述图像特征中每一字符维度的特征，根据对该字符维度的特征进行解码所得的解码特征确定该字符维度对应的字符和语种分类；

根据每一所述字符维度对应的语种分类，确定所述字符行图像对应的所述语种分类结果，并根据每一所述字符维度对应的字符确定所述字符行图像对应的所述字符识别结果；

所述字符识别模型还包括分别与所述解码模块连接的第一全连接层和第二全连接层；

所述在所述解码模块对所述图像特征进行迭代解码的过程中，针对所述图像特征中每一字符维度的特征，根据对该字符维度的特征进行解码所得的解码特征确定该字符维度对应的字符和语种分类，包括：

通过所述第一全连接层将所述解码特征映射至字符空间，获得该字符维度对应的字符；以及通过所述第二全连接层将所述解码特征映射至语种空间，获得该字符维度对应的语种分类。

2.根据权利要求1所述的方法，其特征在于，在所确定的所述字符行图像的图像特征中的字符维度对应的语种分类为多种的情况下，所述根据每一所述字符维度对应的语种分类，确定所述字符行图像对应的所述语种分类结果，包括：

将对应的字符维度的数量最多的语种分类确定为所述字符行图像对应的语种分类结果；或

将每一所述字符维度对应的语种分类进行去重所得的多个语种分类确定为所述字符行图像对应的语种分类结果；或

将每一所述字符维度对应的语种分类进行去重所得的多个目标语种分类，以及每一所述目标语种分类对应的字符维度的数量确定为所述字符行图像对应的语种分类结果；或

将对应于同一语种分类的相邻字符维度进行合并，并将该语种分类确定为合并后所得的字符维度对应的字符段的语种分类，所述字符行图像对应的语种分类结果包括每一所述字符段以及所述字符段对应的语种分类。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述字符识别结果和所述语种分类结果，输出所述待识别图像的识别结果，所述识别结果包括所述待识别图像中的每一字符行文本以及与该字符行文本对应的语种标识。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于接收到用户针对于所述识别结果的确认操作，根据所述字符行文本对应的语种标识对所述字符行文本进行语种转换，以获得目标语种下所述字符行文本对应的转换文本；和/或，

响应于接收到用户针对所述识别结果中的目标字符行文本对应的语种标识的修改操作，将修改后的语种标识确定为所述目标字符行文本对应的语种标识。