[发明专利]一种基于CNN的扫描文档图像增强方法

说明书

一种基于CNN的扫描文档图像增强方法。本发明公开了一种用于通过扫描或拍照等形式重采样的文档图像的增强方法，包括深度学习模型提出、训练样本生成、训练方法设计、数据预处理。本发明适用于解决传统纸质文档数字化过程中产生的图像退化问题，能够提升文档的主观清晰度和字符可辨认度，并提升光学字符识别(OCR)的准确率。本发明基于卷积神经网络模型，采用组合随机退化模型生成自建小样本数据集对模型进行训练，模型通过特征提取、特征映射和图像重构，实现图像在主观视觉感受上的清晰度改善，以及字符检测率、辨识率的提升。本发明提出的模型兼顾了图像增强能力、模型复杂度、训练难度和泛化能力，可以满足工业实时处理任务，并可通过小规模迁移学习方法扩展模型的适用领域。

技术领域

本发明提供一种基于CNN的扫描文档图像增强方法，具体涉及一种深度学习模型构建和训练方法，属于图像处理算法领域。

背景技术

受印刷方式、油墨、承印物、保存方式和保存环境等多种因素的影响，传统纸质文档的长期保存较为困难，想要长期保存资料需要耗费大量的资源。此外，传统纸质文档在信息传播、复制、共享等方面存在天然的缺陷，并且空间占用较数字存储方式也更多，因此，很多传统纸质资料被通过数字化的方式进行重采样。数字媒体具有空间占用小、存储简单、复制和传播成本低等特点，因此被更加广泛的使用。而在传统纸质文档数字化的过程中，需要对纸质文档通过扫描、拍照和OCR等方式进行重采样，但往往在重采样的过程中，受纸张破损、褶皱，以及油墨颜色减退等因素影响，导致重采样结果不佳，目视结果较差，以及不能进行光学字符识别等问题。因此，对重采样结果的增强和修复是解决这一问题的方法之一，通过构建性能较好、适应性强的模型，对退化结果进行修复，将大大提升文档的主观可读性，并为OCR工作提供特征清晰的输入。

为了解决上述存在的问题，以往的图像增强方法根据文档的退化方式设计特定的算法来增强图像原有信息的表达，由于需要一定的退化先验信息，因此构建与真实情况一致的退化模型是完成图像增强的关键，但在实际应用中，文档图像的退化受多方面因素影响，很难人为建立完美的退化模型。此外，OCR技术是机器视觉领域的方法，机器视觉对于图像有效特征的利用与人眼视觉系统有着很大的区别，因此主观的提升图像的人眼视觉可读性，未必能够提升OCR的质量。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于CNN的扫描文档图像增强方法。该方法主要通过对图像的细节进行重建和字符特征进行增强，解决传统纸质文档在使用扫描仪、照相机进行重采样后，获得的数字图像可读性低、OCR性能差的问题。

本发明的技术方案是：通过已有清晰重采样扫描文档建立训练样本集，使用TensorFlow框架搭建神经网络模型，基于大规模数据集预训练的模型参数进行迁移学习，使用深度学习模型和训练后参数对待处理的扫描稳当图像进行增强并输出。

本发明的方法包括如下步骤：

步骤1，对ground truth进行颜色空间转换和归一化处理，然后结合退化模型获取退化图像；

步骤2，构建深度学习模型；

所述深度学习模型由特征提取模块、特征非线性映射模块和图像重建模块构成，其中，特征提取模块由多个卷积层构成，卷积核均为3×3，特征非线性映射模块由一个1×1卷积层构成，图像重建模块由两个3×3卷积层构成；

步骤3，对退化图像与ground truth进行子图像划分处理，形成训练图像对；

步骤4，利用训练图像对训练深度学习模型；

步骤5，将待处理图像输入到训练好的深度学习模型中，得到增强后的扫描文本图像。

进一步的，步骤1中对ground truth进行颜色空间转换和归一化处理的具体实现方式如下；