[发明专利]基于多字典样本加权的文本识别方法

说明书

本申请公开了基于多字典样本加权的文本识别方法，所述基于多字典样本加权的文本识别方法包括如下步骤：预处理和数据增强、特征提取、多头分支、随机Mask、损失加权以及模型更新。本申请的有益之处在不降低模型性能的基础上，可以有效利用已有预训练模型，实现多个字典的联合训练，可迭代使用原训练数据集的模型文件，不用从头训练，即可得到增量式的学习结果，降低了训练的难度和时间；通过对损失计算的优化，缓解了训练样本不均衡的问题，提高模型的精度，基于训练数据集的统计量，通过对损失值做加权，缓解了模型过拟合的程度，提高了模型的精度。

技术领域

本申请涉及文本识别优化领域，尤其是基于多字典样本加权的文本识别方法。

背景技术

现有技术通常以文本行图片为输入，对输入做数据增强和变换，由深度模型提取特征，送入损失函数中计算损失，再反馈梯度值来更新模型网络。输入数据为任意形状的图像，监督标签为不等长的文本序列。数据增强是指对训练数据进行整体或局部的图像处理操作，包括常见的镜像翻转、透视变换、高斯模糊等。深度模型通常会结合CNN、RNN网络来构建，并对部分算子进行改进和调整。非定长序列的损失计算采用CTC方法，该方法通过引入空白字符和递推计算，可以快速计算出损失值。

现有技术的缺陷：1.现有技术在实际使用中，无法对增量数据集的模型进行联合训练。增量数据集会有新的字典集合，需要重新训练对应字典的模型，不能利用之前已经训练的预训练模型；2.现有技术对样本不均衡未做优化处理，在数据符合长尾分布时，对样本少的字或数据有偏见性，即比较容易将结果识别为样本多的字；3.现有技术未对语义做学习和建模的优化，仅对模型做分类损失的优化。在困难识别的场景(如文字模糊、不清晰、有遮挡等)下，不能做一定的语义推理，识别效果不好。因此，针对上述问题提出基于多字典样本加权的文本识别方法。

发明内容

在本实施例中提供了基于多字典样本加权的文本识别方法用于解决现有技术中多个字典无法联合训练问题、训练样本不均衡问题以及模型无对语义的理解和建模能力的问题。

根据本申请的一个方面，提供了基于多字典样本加权的文本识别方法，所述基于多字典样本加权的文本识别方法包括如下步骤：

(1)预处理和数据增强

模型的输入为文本行图像，在对图像解码后，进行通道变换和转置预处理，按照一定的随机比例进行多种数据增强操作，以此来增加样本的多样性，提高模型的识别能力；

对图像进行指定大小的缩放操作，设置为(H,W,3)，根据文本行图像的大小，对其进行不同的resize操作，最后得到固定高度为H的可训练图像数据；

(2)特征提取

本专利的模型主干网为图像分类预训练模型resnet-50，网络neck层为双层双向RNN模型，输入图像在预处理阶段中按固定高度进行resize操作后，输入CNN网络中进行空间特征提取，得到大小为(1,W/4,C1)的特征，RNN网络接收上一步的结果作为输入，来对时序数据建模，以进行时序特征提取，最后输出大小为(W/4,C1)的特征；

(3)多头分支

多头分支中包含与字典数量一致的分支头，每个分支头对应一个字典集合，所有分支的特征提取网络层均为单层的全连接层，输入通道数为C1，输出通道数为该字典中字的数量D，将上一步提取得到的特征分别输入到每个分支头中，得到每个字典对应的前概率矩阵V，其中V的大小为(W/4,D)，在得到每个分支输出的前概率矩阵后，沿着最后一个维度，也即是字典数量的维度进行拼接，得到一个汇总的结果，即为多头分支的输出结果V’；

(4)随机Mask

在得到多头分支的输出结果V’后，沿着第一维进行随机Mask操作，首先根据V’的形状生成一个大小与V’相同的二值矩阵B，该矩阵中为0的行的位置是随机的，且行数比例值为r，即为0的行的行数row＝W/4*r；