[发明专利]一种基于表格定位和深度学习的票据内容识别系统和方法

说明书

本发明公开了一种基于表格定位和深度学习的票据内容识别系统和方法。本发明针对特定的票据，能自动定位到票据中表格的单元格位置，提取出文本块，对比于一般的OCR识别方法需要对文本块进行字符分割，本发明免去改步骤，通过针对性地构造样本，训练一个深度学习模型，能够直接识别不定长的多字符文本块，并且可以有效地处理背景纹理和文字模糊。

技术领域

本发明属于图像识别技术应用领域，特别涉及一种基于表格定位和深度学习的针对性票据内容识别系统和方法。

背景技术

现阶段，许多单位都有很多的票据需要管理和录入，手工整理费时费力，也容易出现错误，票据识别成为办公中票据分类，票据数据录入、校验数据等常见场景进行自动化需要解决的问题。实现自动识别票据内容可以帮助工作人员大大提高工作效率，同时优化公司整体的工作流程。

目前图像处理中的OCR技术，能够很好地识别各种背景较清楚的印刷体文本。在定位到文本位置后，通常分割出单个字符并利用单个字符的分类器进行单字识别。但是对于票据有底纹，模糊或是图像噪声较大时，传统的文本位置定位，以及分割单个字符常会遇到非常不准确的情况。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于表格定位和深度学习的针对性票据内容识别系统和方法。

为了实现上述目的，本发明采用以下技术方案：一种基于表格定位和深度学习的针对性票据内容识别方法，包括以下步骤：

利用模板匹配的方式判断一类型票据图片的朝向，利用直线检测的算法判断出票据中表格的水平倾斜角度，并将其矫正至水平位置，通过形态学方法定位到票据中表格的各个角点，进而定位出表格中的各个单元格位置；

针对提取出来的单元格文本块，利用图像处理方法切割出文本行；

建立基于卷积神经网络的CNN+GRU+CTC模型，用真实文字对模型进行训练，将训练好的模型对文本行进行识别；

将所有的文字块识别的结果，按照文字块所在的位置排列起来，得到最后的票据图片的识别结果。

进一步的，判断票据图片的朝向采用以下步骤：将票据图片进行灰度化，分析找出其中固定不变的表头，作为模板，将其进行90度、180度和270度的旋转，形成4个方向的模板，然后对所有的图片，用4个模板进行图像匹配，得到匹配度最高的模板，该模板所对应的角度为该票据图片的朝向，并将图片旋转为朝上。

进一步的，票据中表格水平倾斜角度采用以下步骤进行判断：利用Hough变换检测票据图片中的直线，找到图片中最长的横向直线，并判断其相对于水平位置的倾斜角度，即为表格相对于水平位置的倾斜角度。

进一步的，票据中表格的各个角点采用以下步骤进行定位：对于朝上且水平的票据图片，通过膨胀腐蚀的形态学方法，利用水平线的核和垂直线的核，提取出图片中的横线和纵线，取横线和纵线的交点，为表格各角点。

进一步的，将单元格文本块切割出文本行采用以下步骤：将图片灰度化，并进行自适应阈值的二值化，用水平投影方法将图片分割成文字行。

进一步的，建立基于卷积神经网络的CNN+GRU+CTC模型并进行训练采用以下步骤：

针对该类票据，生成训练样本，所述训练样本包含尺寸变化、模糊、轻微旋转、平移、加噪声变换的训练图片集和验证图片集，该数据集和票据拥有类似的底纹，包含常用中文字符、英文字符、数字、常用标点；

构造CNN+GRU+CTC模型，将生成的样本按8:2的比例分为训练集和验证集，然后利用这些数据训练网络，调整超参数，在GPU上训练收敛。