[发明专利]字符识别方法、模型训练方法、相关装置及电子设备

权利要求书

1.一种字符识别方法，包括：

获取目标图片；

对所述目标图片进行特征编码，得到所述目标图片的视觉特征；

对所述视觉特征进行特征映射，得到所述目标图片的第一目标特征，所述第一目标特征为与所述目标图片的字符语义信息的特征具有匹配空间的特征，所述第一目标特征的特征空间与将所述目标图片的字符语义信息的特征进行特征映射得到的目标域的特征空间匹配；

将所述第一目标特征输入至字符识别模型进行字符识别，以得到所述目标图片的第一字符识别结果。

2.根据权利要求1所述的方法，其中，所述对所述视觉特征进行特征映射，得到所述目标图片的第一目标特征，包括：

采用目标映射函数对所述视觉特征进行非线性变换，得到所述目标图片的第一目标特征。

3.一种模型训练方法，包括：

获取训练样本数据，所述训练样本数据包括训练图片和所述训练图片中字符信息的语义标签；

分别获取所述训练图片的第二目标特征和所述语义标签的第三目标特征，所述第二目标特征基于所述训练图片的视觉特征映射得到，所述第三目标特征基于所述语义标签的语言特征映射得到，所述第二目标特征的特征空间与所述第三目标特征的特征空间匹配；

将所述第二目标特征输入至字符识别模型进行字符识别，以得到所述训练图片的第二字符识别结果；并将所述第三目标特征输入至所述字符识别模型进行字符识别，以得到所述训练图片的第三字符识别结果；

基于所述第二字符识别结果和第三字符识别结果，更新所述字符识别模型的参数。

4.根据权利要求3所述的方法，其中，所述基于所述第二字符识别结果和第三字符识别结果，更新所述字符识别模型的参数，包括：

确定所述第二字符识别结果与所述语义标签的第一差异信息，以及确定所述第三字符识别结果与所述语义标签的第二差异信息；

基于所述第一差异信息和第二差异信息，更新所述字符识别模型的参数。

5.根据权利要求3所述的方法，其中，所述语义标签的语言特征通过以下方式获取：

对目标语义标签进行向量编码，得到所述目标语义标签的字符编码信息，所述目标语义标签的维度与所述训练图片的视觉特征的维度匹配，所述目标语义标签基于所述语义标签确定；

对所述字符编码信息进行特征编码，得到所述语义标签的语言特征。

6.一种字符识别装置，包括：

第一获取模块，用于获取目标图片；

特征编码模块，用于对所述目标图片进行特征编码，得到所述目标图片的视觉特征；

特征映射模块，用于对所述视觉特征进行特征映射，得到所述目标图片的第一目标特征，所述第一目标特征为与所述目标图片的字符语义信息的特征具有匹配空间的特征，所述第一目标特征的特征空间与将所述目标图片的字符语义信息的特征进行特征映射得到的目标域的特征空间匹配；

第一字符识别模块，用于将所述第一目标特征输入至字符识别模型进行字符识别，以得到所述目标图片的第一字符识别结果。

7.根据权利要求6所述的装置，其中，所述特征映射模块，具体用于采用目标映射函数对所述视觉特征进行非线性变换，得到所述目标图片的第一目标特征。

8.一种模型训练装置，包括：

第二获取模块，用于获取训练样本数据，所述训练样本数据包括训练图片和所述训练图片中字符信息的语义标签；

第三获取模块，用于分别获取所述训练图片的第二目标特征和所述语义标签的第三目标特征，所述第二目标特征基于所述训练图片的视觉特征映射得到，所述第三目标特征基于所述语义标签的语言特征映射得到，所述第二目标特征的特征空间与所述第三目标特征的特征空间匹配；

第二字符识别模块，用于将所述第二目标特征输入至字符识别模型进行字符识别，以得到所述训练图片的第二字符识别结果；并将所述第三目标特征输入至所述字符识别模型进行字符识别，以得到所述训练图片的第三字符识别结果；

更新模块，用于基于所述第二字符识别结果和第三字符识别结果，更新所述字符识别模型的参数。