[发明专利]基于深度学习的OCR图像文字识别与段落输出方法

权利要求书

1.基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：具体操作步骤如下：

S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；

S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小；

S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框；

S4：将步骤S2中预处理后得到图像读入步骤S3中加载的CTPN模型，得到一系列文本检测框；

S5、将步骤S4中得到的文本检测框优化并生成文本框数组，数组的每个元素为一个段落，具体步骤如下：

S5.1：在多栏文本的复杂文本中，先将文本检测框正确分栏；得到文本检测框数组，每个数组元素均为一栏；

S5.2：考虑到部分文本检测框过长，包含多栏的情况，为此，对这些“长文本检测框”作切割操作；“长文本检测框”的切割已完成，每个文本检测框仅包含一栏；

S5.3：由于步骤S5.2中添加和修改了文本检测框，每栏的文本检测框数量发生了改变，因此，再做一遍步骤S5.1的操作；由此，得到优化后的文本检测框数组；

S5.4：最后，聚合每栏的文本检测框，生成段落；由此，文本框数组已全部生成，数组的每个元素即一个段落；

S6：文本识别，对文本框数组的每个元素依次识别；由此，得到由段落组成的文本内容。

2.根据权利要求1所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S2中调节步骤为：先通过RGB通道分别减去均值102.9801,115.9465,122.7717，再做max-min 0-1均一化处理。

3.根据权利要求1所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.1中分栏的详细操作：沿用CTPN中的anchor，即字符的宽度为16像素，设定5个字符长度为分栏的阈值，并记每个文本检测框的横坐标最小值为X_MIN；将文本检测框按X_MIN升序排列，遍历所有文本检测框，当X_MIN的极差不超过5个字符长度时，为一栏。

4.根据权利要求3所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：特别的，这里将大小标题各当做一栏处理。

5.根据权利要求4所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.2中切割操作的详细操作：首先记每栏中文本检测框合理的横坐标的最小最大值分别为X_LEFT，X_RIGHT，每个文本检测框的横坐标最小最大值分别为X_MIN，X_MAX，设定将该栏中X_MIN，X_MAX的众数分别作为X_LEFT，X_RIGHT。

6.根据权利要求5所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：遍历每栏的文本检测框，当X_MAX-X_RIGHT的差大于2个字符长度时，将文本检测框切割为2个文本检测框，其中第一个文本检测框的X_MIN＝X_MIN，X_MAX＝X_RIGHT，第二个文本检测框的X_MIN＝X_MAX+16*2，X_MAX＝X_MAX。

7.根据权利要求6所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：所述步骤S5.4中聚合的详细操作：首先，记每个文本检测框的纵坐标的最小值为Y_MIN，对每一栏，将文本检测框按Y_MIN升序排列；记每个文本检测框的缩进和行尾空白分别为INDENT1，INDENT2,以每栏的X_LEFT，X_RIGHT为对照，计算文本检测框的INDENT1＝X_MIN-X_LEFT，INDENT2＝X_RIGHT-X_MAX；设定当文本检测框的INDENT1和上一个文本检测框的INDENT2之和，即INDENT1+INDENT2＝3字符长度时，为一个段落。

8.根据权利要求7所述的基于深度学习的OCR图像文字识别与段落输出方法，其特征在于：由于CTPN得到的文本检测框存在一定的不精准问题，在文本检测框判定段落的同时，设置X_MIN＝X_LEFT。