[发明专利]基于深度学习的OCR图像文字识别与段落输出方法

说明书

本发明公开了基于深度学习的OCR图像文字识别与段落输出方法，具体涉及OCR文字识别领域，具体操作步骤如下：S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小；S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框。本发明在深度学习检测模型CTPN的基础上，对复杂图像进行分栏分段识别；在复杂的多栏场景下对图像中的文字进行识别并段落输出，根本上解决已有OCR识别中的结果杂糅问题，大大提升结果的可读性。

技术领域

本发明涉及OCR文字识别技术领域，更具体地说，本发明涉及基于深度学习的OCR图像文字识别与段落输出方法。

背景技术

OCR技术是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。可应用于银行票据、大量文字资料、档案卷宗、文案的录入和处理领域。适合于银行、税务等行业大量票据表格的自动扫描识别及长期存储。相对一般文本，通常以最终识别率、识别速度、版面理解正确率及版面还原满意度4个方面作为OCR技术的评测依据；而相对于表格及票据，通常以识别率或整张通过率及识别速度为测定OCR技术的实用标准。

OCR技术已经成熟的运用在多个领域，如，单栏图像场景下，OCR文字识别工具的准确率较高，甚至超过9成，然而，在双栏，多栏期刊及其他复杂场景下，多栏的文字距离过近，不同段落之间的联系过于紧密等杂糅现象，使得OCR识别结果准确率低，或者是多栏的识别结果混杂起来，可读性较差，通过人工进行粘贴复制也将耗费大量时间。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供基于深度学习的OCR图像文字识别与段落输出方法，本发明所要解决的技术问题是：现有OCR识别中的结果杂糅问题，结果的可读性较差。

为实现上述目的，本发明提供如下技术方案：基于深度学习的OCR图像文字识别与段落输出方法，具体操作步骤如下：

S1、读入图像：将待识别的图像上传/导入，得到可编辑图像；

S2、图像预处理：将步骤S1中得到的可编辑图像进行编辑，调整该图像到指定大小，如：1000*1000*3；

S3、加载CTPN预训练模型：加载CTPN模型，先通过VGG16提取图像中的局部图像特征，再使用BLSTM提取上下文特征，然后用全连接层和多预测分支得到坐标值和概率值，最后合并字符为文本检测框；

S4：将步骤S2中预处理后得到图像读入步骤S3中加载的CTPN模型，得到一系列文本检测框；

S5、将步骤S4中得到的文本检测框优化并生成文本框数组，数组的每个元素为一个段落，具体步骤如下：

S5.1：在多栏文本的复杂文本中，先将文本检测框正确分栏；得到文本检测框数组，每个数组元素均为一栏；

S5.2：考虑到部分文本检测框过长，包含多栏的情况，为此，对这些“长文本检测框”作切割操作；“长文本检测框”的切割已完成，每个文本检测框仅包含一栏；

S5.3：由于步骤S5.2中添加和修改了文本检测框，每栏的文本检测框数量发生了改变，因此，再做一遍步骤S5.1的操作；由此，得到优化后的文本检测框数组；

S5.4：最后，聚合每栏的文本检测框，生成段落；由此，文本框数组已全部生成，数组的每个元素即一个段落；

S6：文本识别，对文本框数组的每个元素依次识别；由此，得到由段落组成的文本内容。