[发明专利]一种基于关键点提取票据图像表格区域的方法及系统

权利要求书

1.一种基于关键点提取票据图像表格区域的方法，其特征在于，包括如下步骤：

S1、通过HTTP协议，获取前端的票据图片并对图像进行预处理；

S2、对图像进行水平矫正；

S3、标注数据，训练深度学习神经网络模型，检测水平正向的图像中票据是否有褶皱；

S4、针对没有褶皱的票据数据，标注数据，训练深度学习神经网络模型，检测票据的4个角点；

S5、利用4个角点，对图片中票据区域进行透视变换，得到矫正后的规则矩形状的票据表格区域；

S6、提取票据表格区域。

2.根据权利要求1所述的一种基于关键点提取票据图像表格区域的方法，其特征在于，在步骤S1中，对图像的预处理包括图像增强和调整分辨率；

其中，所述调整分辨率是将输入图像统一大小，按图像最大长度缩放到1920的比例，对图像进行缩放；

所述图像增强是使用低通滤波，对图像进行全局对比度增强：

res＝round((orig-mean)*Factor)+orig

其中，Factor为增加对比度的比例因子；orig为图像的原始灰度值；mean为图像的平均灰度值；round()为四舍五入操作。

3.根据权利要求1所述的一种基于关键点提取票据图像表格区域的方法，其特征在于，在步骤S2中，对图像进行水平矫正的具体步骤包括：

S21、利用ocr检测预训练的神经网络模型，检测图片中的文本；

S22、针对提取的文本，以对角线长度进行排序，选择最长的文本采用透视变换矩阵M1进行水平矫正；

S23、利用文本方向分类模型对透视变换后的文本进行检测，检测水平矫正后的文本方向，如果是正向的，赋值角度Angle为0，如果是倒立的，赋值角度Angle为180；

S24、利用矩阵M1，对图片进行透视变换，使用角度Angle对透视变换后的图片进行旋转，得到水平正向的图片。

4.根据权利要求3所述的一种基于关键点提取票据图像表格区域的方法，其特征在于，在步骤S22中，获取矩阵M1的具体步骤包括：

S221、在ocr检测模型输出结果中，提取最长文本的位置信息，即4个角点坐标[(x1,y1),(x2,y2),(x3,y3),(x4,y4)]，以及该文本框的高度h，宽度w；

S222、已知h和w，可以设定最长文本框透视变换后的位置信息为[(0,0),(w,0),(w,h),(0,h)]；

S223、根据变换前的位置信息和变换后的位置信息，可以得到3×3的透视变换矩阵M1。

5.一种基于关键点提取票据图像表格区域的系统，用于如权利要求1-5任一项所述的基于关键点提取票据图像表格区域的方法，其特征在于，包括：

图片获取模块，用于通过HTTP协议，获取前端的票据图像；

图像预处理模块，用于票据图像的图像增强和调整分辨率的预处理；

模型训练模块，利用深度学习神经网络，对标注的图像数据进行训练，得到算法模型；

水平矫正模块，对预处理后的图像进行水平矫正；

褶皱检测模块，利用训练的褶皱检测算法模型检测水平正向的图像中票据是否有褶皱；

关键点检测模块，利用训练的关键点检测算法模型检测票据的4个角点；

票据提取模块，用于提取矫正后的规则矩形状的票据区域。