[发明专利]一种基于深度学习的票据OCR识别方法

权利要求书

1.一种基于深度学习的票据OCR识别方法，其特征在于：包括：

步骤S10、采集大量的不同类型的票据图像；

步骤S20、对各所述票据图像进行标注以及扩充，得到训练数据集；

步骤S30、基于深度学习创建一票据分类模型、若干个文字检测模型、一文字方向分类模型以及一文字识别模型；

步骤S40、利用所述训练数据集分别对票据分类模型、文字检测模型、文字方向分类模型以及文字识别模型进行训练；

步骤S50、利用训练后的所述票据分类模型、文字检测模型、文字方向分类模型以及文字识别模型对待识别票据进行智能识别。

2.如权利要求1所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S10具体为：

在不同光照强度以及背景颜色的环境下，采集大量的不同类型的票据图像。

3.如权利要求1所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S20具体为：

通过图像检测标注工具对采集的各所述票据图像进行票据类型、文字区域、文字方向以及文字内容的标注，对标注后的各所述票据图像进行随机偏转、平移或者缩放的样本扩充操作，得到训练数据集。

4.如权利要求1所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S30中，所述票据分类模型用于对票据进行分类，采用VGG16网络作为主干特征提取网络，采用交叉熵函数作为损失函数；

所述文字检测模型用于检测文本区域并进行截取，为DBNet网络，采用ResNet网络作为主干特征提取网络，采用可变性卷积提取特征，使卷积和的视野大小随特征变化；

所述文字方向分类模型用于识别文字的排列方向，采用RCNN网络作为主干特征提取网络，采用二分类交叉熵函数作为损失函数；

所述文字识别模型用于识别文字，先通过CNN网络提取底层图像特征，再通过RNN网络提取文本行的上下文表征，并采用CTC函数作为损失函数。

5.如权利要求1所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S40具体包括：

步骤S41、将所述训练数据集按预设的比例划分为训练集和验证集；

步骤S42、利用所述训练集分别对票据分类模型、文字检测模型、文字方向分类模型以及文字识别模型进行训练预设次数；

步骤S43、利用所述验证集分别对票据分类模型、文字检测模型、文字方向分类模型以及文字识别模型进行验证，验证通过则进入步骤S50；验证不通过则扩充所述训练数据集后，进入步骤S41。

6.如权利要求1所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S50具体包括：

步骤S51、基于各票据类型分别创建一票据模板；

步骤S52、利用训练后的所述票据分类模型对待识别票据进行分类，并输入对应的文字检测模型；

步骤S53、所述文字检测模型识别待识别票据里的文本区域并进行截取，得到文本图片并输入文字方向分类模型；

步骤S54、所述文字方向分类模型对文本图片的文字排列方向进行识别，并对所述文本图片进行校正以使文字水平排列，并将校正后的所述文本图片输入文字识别模型；

步骤S55、所述文字识别模型识别文本图片中的文字，并将识别的文字自动填入对应所述票据模板的对应位置；

步骤S56、保存并展示填入文字的所述票据模板，完成待识别票据的智能识别。

7.如权利要求6所述的一种基于深度学习的票据OCR识别方法，其特征在于：所述步骤S51中，所述票据模板至少包括字段名称、参考字段名称以及字段值填入位置。