[发明专利]一种基于条件生成对抗网络的文本图像超分辨率重建方法

摘要

本发明公开了一种基于条件生成对抗网络的文本图像超分辨率重建方法。该方法修改了普通的条件生成对抗网络的结构，使其更加适应于文本图像的超分辨率重建任务，另外引入并利用了文本‑非文本二值分割图像作为超分辨率重建模型的额外训练监督信息，并结合文本‑非文本二值分割信息构造模型的损失函数以约束模型的训练，使得超分辨率重建模型更加集中于图像中的文本部分。相比一般图像超分辨率方法，本发明公开的文本图像超分辨率重建方法更加充分和针对性地利用了文本自身信息，有效提高了文本图像超分辨率重建的质量。

主权项

1.一种基于条件生成对抗网络的文本图像超分辨率重建方法，该方法包括以下步骤：(1)构建训练图像样本数据集，具体方法为：(1.1)对训练用高分辨率文本图像进行自适应阈值分割，生成与原图像相同尺寸的文本‑非文本二值分割图像，其中对应文字的像素值设为1而对应非文字的像素值设为0；(1.2)在包含RGB三个通道的文本图像的基础上，将二值分割图像作为文本图像的一个额外通道，拼接生成附带分割信息的4通道文本图像；(1.3)在步骤(1.2)生成的4通道文本图像的基础上，分别对其使用Bicubic进行1/2比例、1/4比例分辨率缩小，生成分辨率逐级以2倍率减少的一组图像；(1.4)将原始尺寸、1/2比例、1/4比例不同分辨率的文本图像分别切割为相同数量、位置对应、大小分别为n×n、n/2×n/2、n/4×n/4像素的图像块，其中n是原始尺寸图像切割成的图像块的边长；(1.5)按照超分辨率重建的目标图像比率，选择切割自原始尺寸文本图像和按对应分辨率比例缩小后图像的对应相同位置的两个图像块作为高分辨率/低分辨率图像样本对，以此构成超分辨率重建模型的训练样本数据集；(2)训练基于条件生成对抗网络的文本图像超分辨率重建模型，具体方法是：(2.1)构建生成器网络和判别器网络，并结合文本‑非文本二值图构造模型损失函数；(2.2)将步骤(1)得到的训练样本中的低分辨率文本图像作为生成器网络的输入，对应的高分辨率文本图像样本作为生成器网络的预期输出，使用反向传播算法训练生成器网络；(2.3)将步骤(1)得到的训练样本中的低分辨率文本图像和对应的高分辨率文本图像作为正例图像对，训练样本中的低分辨率文本图像和生成器网络相应输出图像作为反例图像对，使用反向传播算法训练判别器网络；(2.4)迭代步骤(2.2)和步骤(2.3)，使得生成器在与判别器的对抗训练过程中最终学习得到高分辨率文本图像的样本分布；(3)将待重建的低分辨率文本图像作为训练得到的文本图像超分辨率重建模型中生成器网络的输入，模型输出的图像即超分辨率重建后的高分辨率文本图像。