[发明专利]一种基于关键点提取票据图像表格区域的方法及系统

说明书

本发明公开了一种基于关键点提取票据图像表格区域的方法，涉及图像识别技术领域，包括如下步骤：首先通过HTTP协议，获取前端的票据图片并对图像进行预处理；然后对图像进行水平矫正；标注数据训练神经网络模型，检测水平正向的图像中票据是否有褶皱，针对没有褶皱的票据数据，标注数据训练神经网络模型，检测票据的4个角点，利用4个角点，对图片中票据区域进行透视变换，得到矫正后的规则矩形状的票据表格区域，并提取票据表格区域。本发明可针对票据上关键点进行识别提取，并可对票据图像表格区域进行矫正处理，使提取的票据图像表格区域更加的规整，可提高票据后续内容识别的准确性。

技术领域

本发明属于图像识别技术领域，具体涉及一种基于关键点提取票据图像表格区域的方法及系统。

背景技术

随着人工智能技术的日渐成熟，对票据内容的自动识别有了更加高效智能的手段。日常生活中使用的票据，大多以表格的形式，记录所需要的信息。为了实现对票据表格内容的自动识别，需要采集票据图像数据传输到算法设备进行处理。在当前移动互联网时代下，移动设备的兴起，使得普通用户很便利的就可以采集身边的票据图像上传系统进行处理，然而，由于用户行为的不可控性，各种场景下移动设备采集到的图像也千差万别。其中，表格区域的畸变和褶皱，对表中结构化信息的定位与提取都会产生非常大的影响。如果能在表格识别之前，对采集到的图像进行校正，提取出平整的矩形化表格区域，则能从源头有效提高表格识别的准确度。为了满足票据图像表格区域的提取需求，我们提出一种基于关键点提取票据图像表格区域的方法及系统。

发明内容

本发明的目的是为了解决现有技术中存在无法有效识别并提取票据图像表格区域的缺点，而提出的一种基于关键点提取票据图像表格区域的方法及系统。该基于关键点提取票据图像表格区域的方法及系统可针对票据上关键点进行识别提取，并可对票据图像表格区域进行矫正处理，使提取的票据图像表格区域更加的规整，可提高票据后续内容识别的准确性。

为了实现上述目的，本发明采用了如下技术方案：

设计一种基于关键点提取票据图像表格区域的方法，包括如下步骤：

步骤1、通过HTTP协议，获取前端的票据图片并对图像进行预处理；

步骤2、对图像进行水平矫正；

步骤3、标注数据，训练深度学习神经网络模型，检测水平正向的图像中票据是否有褶皱；

步骤4、针对没有褶皱的票据数据，标注数据，训练深度学习神经网络模型，检测票据的4个角点；

步骤5、利用4个角点，对图片中票据区域进行透视变换，得到矫正后的规则矩形状的票据表格区域；

步骤6、提取票据表格区域。

进一步的，在步骤1中，对图像的预处理包括图像增强和调整分辨率；其中，所述调整分辨率是将输入图像统一大小，按图像最大长度缩放到1920的比例，对图像进行缩放；所述图像增强是使用低通滤波，对图像进行全局对比度增强：

res＝round((orig-mean)*Factor)+orig

其中，Factor为增加对比度的比例因子；orig为图像的原始灰度值；mean为图像的平均灰度值；round()为四舍五入操作。

进一步的，在步骤2中，对图像进行水平矫正的具体步骤包括：

步骤21、利用ocr检测预训练的神经网络模型，检测图片中的文本；

步骤22、针对提取的文本，以对角线长度进行排序，选择最长的文本采用透视变换矩阵M1进行水平矫正；

步骤23、利用文本方向分类模型对透视变换后的文本进行检测，检测水平矫正后的文本方向，如果是正向的，赋值角度Angle为0，如果是倒立的，赋值角度Angle为180；