[发明专利]OCR识别模型训练方法、OCR识别方法及相关装置

说明书

本申请提供了OCR识别模型训练方法、OCR识别方法及相关装置，OCR识别模型训练方法包括：将无标注数据的第一图像样本切分为多个第一图像块，随机选取部分第一图像块进行遮挡，得到遮挡图像块和未遮挡图像块；利用遮挡图像块和未遮挡图像块，以重构第一图像样本的预设特征为目标，对预先构建包含编码器和第一解码器的初始特征识别模型进行预训练；基于预训练特征识别模型中的编码器和第二解码器构建任务处理模型；将有标注数据的第二图像样本切分为多个第二图像块；采用多个第二图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到OCR识别模型。本申请无需大量标注数据，模型训练效率高，同时，训练方法使得OCR识别模型的识别能力高。

技术领域

本申请涉及OCR识别技术领域，特别是涉及OCR识别模型训练方法、OCR识别方法及相关装置。

背景技术

OCR(Optical Character Recognition，光学字符识别)是利用光学技术和计算机技术把印在或写在纸上的文字读取出来，并转换成一种计算机能够接受、人又可以理解的格式，现在也包含自然场景的文字识别。

目前主流的OCR识别模型主要采用CNN网络作为骨干网络，采用CTC作为解码器，其中，在构建OCR识别模型时需要使用大量有标注数据的图像样本进行模型训练。

但是，标注数据需要耗费大量时间和资源，使得OCR识别模型的训练效率大大降低，并且，现有的OCR识别模型仅考虑视觉信息，容易产生误识别，识别效果较差。

发明内容

有鉴于此，本申请提供了OCR识别模型训练方法、OCR识别方法及相关装置，用于解决现有技术OCR识别模型的训练效率低且识别效果差的问题，其技术方案如下：

一种OCR识别模型训练方法，包括：

将无标注数据的第一图像样本切分为多个第一图像块，并从多个第一图像块中随机选取部分第一图像块进行遮挡，得到遮挡图像块和未遮挡图像块，其中，遮挡图像块的数量大于未遮挡图像块的数量；

利用遮挡图像块和未遮挡图像块，以重构第一图像样本的预设特征为目标，对预先构建的包含编码器和第一解码器的初始特征识别模型进行预训练，得到预训练特征识别模型；

基于预训练特征识别模型中的编码器和第二解码器构建任务处理模型；

将有标注数据的第二图像样本切分为多个第二图像块；

采用多个第二图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为OCR识别模型。

可选的，利用遮挡图像块和未遮挡图像块，以重构第一图像样本的预设特征为目标，对预先构建的包含编码器和第一解码器的初始特征识别模型进行预训练，得到预训练特征识别模型预设特征，包括：

将未遮挡图像块输入到初始特征识别模型包含的编码器中，得到未遮挡图像块的视觉语义信息；

将未遮挡图像块的视觉语义信息和遮挡图像块输入到初始特征识别模型包含的第一解码器中，得到重构出的未遮挡图像块和遮挡图像块分别对应的预设特征；

根据重构出的未遮挡图像块和遮挡图像块分别对应的预设特征，以及，从第一图像样本提取的预设特征，对初始特征识别模型的参数进行预训练，得到预训练特征识别模型。

可选的，预设特征包括以下特征中的一种或多种：方向梯度直方图特征、卷积神经网络特征、局部二值模式特征、Haar-like特征、ORB特征、加速稳健特征和SIFT特征。

可选的，采用多个第二图像块和第二图像样本包含的词片序列对任务处理模型进行训练，得到的模型作为OCR识别模型，包括：

将多个第二图像块输入到任务处理模型中，得到多个第二图像块对应的OCR识别结果；