[发明专利]一种单据图像中的表格提取与重建方法和设备

权利要求书

1.一种单据图像中的表格提取与重建方法，其特征在于，包括：

对输入的单据图像进行预处理；

对预处理后的图像进行表格定位与提取；

对提取的表格切分表格单元；

在切分出的每个表格单元中进行文字识别；

根据文字识别的结果以及每个表格单元的行列坐标进行表格重建；

其中，所述对预处理后的图像进行表格定位与提取包括：

提取表格中所有的横线，得到横线二值图像img1；

提取表格中所有的竖线，得到竖线二值图像img2；

将横线二值图像img1和竖线二值图像img2进行或运算，得到包含表格的图像img3；

所述对提取的表格切分表格单元包括：

对图像img3进行水平投影，得到像素直方图，找到所述像素直方图中最大值maxh，将峰值超过0.5*maxh的位置判定为横线的位置，定位出所有横线后，通过相邻两条线切分出表格的每行；

对所述切分出的表格的每行进行竖直投影，得到像素直方图，找到所述像素直方图中最大值maxh，将峰值超过0.5*maxh的位置判定为竖线的位置，定位出所有竖线后，通过相邻两条线切分出表格的每列，得到每一个表格单元，记录行号和列号。

2.根据权利要求1所述的方法，其特征在于，所述对输入的单据图像进行预处理包括：

对输入的单据图像进行白化、图像阈值化和角度旋转。

3.根据权利要求2所述的方法，其特征在于，所述对输入的单据图像进行角度旋转包括：

基于设定的角度范围，对所述单据图像进行旋转，求其每行的均值，所有行的均值组成一个向量，然后求该向量的方差，方差最大时所对应的角度即为需要旋转的角度。

4.根据权利要求1至3任一项所述的方法，其特征在于：

所述提取表格中所有的横线包括：根据所述单据图像的大小，用结构元素对图像进行腐蚀操作，然后进行膨胀操作进行直线增强与连接，最后提取出表格中所有的横线；

所述提取表格中所有的竖线包括：根据所述单据图像的大小，用结构元素对图像进行腐蚀操作，然后进行膨胀操作进行直线增强与连接，最后提取出表格中所有的竖线。

5.根据权利要求1所述的方法，其特征在于，所述在切分出的每个表格单元中进行文字识别包括：

将切割出来的每一个表格单元分别进行文字识别，采用循环神经网络LSTM对每个表格单元中的文字进行整体特征提取，然后送入LSTM预测识别。

6.一种单据图像中的表格提取与重建设备，其特征在于，包括：处理器，所述处理器用于：

对输入的单据图像进行预处理；

对预处理后的图像进行表格定位与提取；

对提取的表格切分表格单元；

在切分出的每个表格单元中进行文字识别；

根据文字识别的结果以及每个表格单元的行列坐标进行表格重建；

其中，所述处理器具体用于：

提取表格中所有的横线，得到横线二值图像img1；

提取表格中所有的竖线，得到竖线二值图像img2；

将横线二值图像img1和竖线二值图像img2进行或运算，得到包含表格的图像img3；

所述处理器还具体用于：对图像img3进行水平投影，得到像素直方图，找到所述像素直方图中最大值maxh，将峰值超过0.5*maxh的位置判定为横线的位置，定位出所有横线后，通过相邻两条线切分出表格的每行；

对所述切分出的表格的每行进行竖直投影，得到像素直方图，找到所述像素直方图中最大值maxh，将峰值超过0.5*maxh的位置判定为竖线的位置，定位出所有竖线后，通过相邻两条线切分出表格的每列，得到每一个表格单元，记录行号和列号。

7.根据权利要求6所述的设备，其特征在于，还包括：图像采集模块，所述图像采集模块，用于采集单据图像并将所述单据图像发送给所述处理器。

8.根据权利要求6所述的设备，所述处理器具体用于：

对输入的单据图像进行白化、图像阈值化和角度旋转。