[发明专利]一种文本图像超分辨率方法

说明书

本发明提供了一种文本图像超分辨率方法，包括：先使用深度抠图技术将低分辨率图像分解成前景图层、背景图层、alpha图层；然后，对于alpha图层，先用Teager滤波对其进行预处理，再将其送入深度空域特征转换生成对抗网络(SFTGAN)进行超分辨率操作；对于前景图层和背景图层，将其直接送入增强超分生成对抗网络(ESRGAN)进行超分辨率操作；最后，将三层超分后得到得高分辨率图像进行融合，即得到高清图像。本发明的文本图像超分辨率方法，对于低分辨率文本图像，能够较好的将其转化成高分辨率图像，可以作为图像预处理中的超分辨率过程应用到多种机器视觉领域。

技术领域

本发明涉及图像处理领域，具体地涉及一种文本图像超分辨率算法，尤其是使用抠图预处理和文本信息监督的文本图像超分辨率方法。

背景技术

图像超分辨率是图像预处理的重要环节，其对于医疗、航空航天、对象识别等领域有重要的影响。现有的针对图像超分辨率的方法主要针对的是自然图像。由于这类方法没有考虑到文本图像的特性(有较多高频信息)，因此其对文本图像的超分辨率效果不好。现有的少数针对文本图像超分辨率方法主要分为两类：基于先验的传统方法、基于深度学习的方法。

1.基于先验的传统方法：此类方法基于先验：文本图像包含两个区域：文本区域和背景区域。之后再基于全变分损失框架进行超分辨率操作。此类方法的缺点是输出的高分辨率图像文字边缘不够锐利，且有糊影。

2.基于深度学习的方法：该类方法先通过边缘检测算法检测出图像边缘，之后对边缘(高频位置)施加更大的损失权重。整体的神经网络仍沿用针对自然图像处理的网络结构。此类方法的问题是对于较低分辨率的图像，施行超分辨后，高分辨率的图像中的部分字符对比原低分辨率图像中的字符出现变形或错误(例如从“e”变成“c”)。

综合来看，现有的针对文字图像超分辨率的方法由于受限于先验信息的不完全合理与局限性，造成这些方法的超分辨率结果中文字边缘不够锐利以及有糊影。同时，基于深度学习的方法存在输出图像字符变形或错误的问题。

发明内容

本发明的目的在于提供一种使用抠图预处理和文本信息监督的文本图像超分辨率方法。

实现本发明目的的技术方案是：

本发明的文本图像超分辨率方法是一种基于深度学习的方法，本发明的方法包括三个步骤：(1)对低分辨率图像抠图，将其分解成前景图层、背景图层和alpha图层；(2)对所述前景图层、所述背景图层和所述alpha图层分别施行超分辨操作；(3)用文本信息监督信息，优化更新网络参数。

优选的，在上述文本图像超分辨率方法中，所述步骤(1)包括：对于输入的低分辨率图像，使用深度抠图技术，将所述低分辨率图像分成所述前景图层、所述背景图层和所述alpha图层。

优选的，在上述文本图像超分辨率方法中，所述步(2)包括：通过超分辨率网络施行所述超分辨操作。

优选的，在上述文本图像超分辨率方法中，所述超分辨率网络为深度空域特征转换生成对抗网络(SFTGAN)和增强超分生成对抗网络(ESRGAN)，对于所述alpha图层，先使用Teager滤波对其进行预处理以增强边缘，再送入所述深度空域特征转换生成对抗网络(SFTGAN)进行超分辨率处理；对于所述前景图层和所述背景图层，直接送入所述增强超分生成对抗网络(ESRGAN)进行超分辨率处理；最后，对于网络输出的三张高清图像进行逆向抠图融合，即得到最终高清结果图像。

优选的，在上述文本图像超分辨率方法中，所述步骤(3)包括：在训练过程中，对于步骤(2)中得到的所述高清结果图像，对其用光学字符识别(OCR)进行识别，将识别结果与字符标签进行比对，对于比对结果不同的每个字符，均向损失函数添加一定的损失值；最后，将此损失值回传到步骤(2)中的所述两个超分辨率网络进行权重更新。