[发明专利]一种基于远近景的弱监督超分辨率重建模型及方法

说明书

本发明公开了一种基于远近景的弱监督超分辨率重建模型及方法，该模型包括：数据集构建模块，用于构建训练用远近景分辨率重建数据集；训练样本加载模块，加载训练样本；第一生成器网络，对所加载的训练样本的远景图像进行重建得到远景高分辨率图像，并将获得的远景高分辨率图像输入至判别器，将获得的远景高分辨率图像输入到第二生成器网络；第二生成器网络，对输入的远景高分辨率图像进行重建输出远景低分辨率图像，输入远景图像、第一生成器网络输出远景高分辨率图像以及第二生成器网络输出远景低分辨率图像形成一个闭环；判别器，用于对经第一生成器网络中重建得到的远景高分辨率图像与训练样本的近景图像进行判别，输出判别结果。

技术领域

本发明涉及计算机图像处理技术领域，特别是涉及一种使用弱监督学习对交通路况的远近景图像进行学习，利用近景图像丰富的细节信息对远景图像实现超分辨率重建的基于远近景的弱监督超分辨率重建方法及装置。

背景技术

现有技术中，在自动驾驶和智能监控中车辆抓拍到远景交通路况图像的情况下，往往需要对该包含车牌号、路标信息的低分辨率图像进行超分辨率重建，丰富其细节信息。

目前，单张自然图像的超分辨率重建技术已经发展的比较成熟，已有多种技术可以实现，如SRCNN、FSRCNN、RDN、EDSR、SRGAN等基于深度学习的有监督超分辨率重建方法，但这些方法无法利用未配对低分辨率图像和高分辨率图像进行超分辨率重建，导致真实场景下无法获得低分辨率图像真值时低分辨率的图像超分重建的效果不理想。

目前已有的CinCGAN等基于弱监督学习进行超分辨率重建的方法，虽然能有效解决未配对单张图像的超分辨率重建问题，但要求输入判别器的弱监督图像域的分辨率也是高分辨率，举例来说，假设现有弱监督超分辨率重建方法需要的数据集是未配对低分辨图像和高分辨率图像，在这种情况下，要对相同分辨率的未配对远近景图像进行弱监督超分辨率重建就无法实现，现有弱监督超分辨率重建方法的判别器只能输入相同分辨率的生成高分辨率图像和弱监督高分辨率图像域图像。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于远近景的弱监督超分辨率重建模型及方法，以利用近景图像丰富的细节信息对远景图像实现超分辨率重建的目的。

为达上述目的，本发明提出一种基于远近景的弱监督超分辨率重建模型，包括：

数据集构建模块，用于构建训练用远近景分辨率重建数据集，所述数据集中的数据以远景图像和随机抽取的近景图像为一个训练样本；

训练样本加载模块，用于加载训练样本；

第一生成器网络，用于对所加载的训练样本的远景图像Fi进行重建得到远景高分辨率图像Si，并将获得的远景高分辨率图像Si输入至判别器，同时将获得的远景高分辨率图像Si输入到第二生成器网络；

第二生成器网络，用于对输入的远景高分辨率图像Si进行重建输出远景低分辨率图像fi，输入所述远景图像Fi、第一生成器网络G输出远景高分辨率图像Si以及第二生成器网络输出所述远景低分辨率图像fi形成一个闭环；

判别器，用于对经所述第一生成器网络中重建得到的远景高分辨率图像Si与所述训练样本的近景图像Ni进行判别，输出判别结果。

优选地，所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。

优选地，所述判别器使用CinCGAN判别器的特征编码网络分别提取输入对应的特征图，然后使用全局池化层将不同尺寸的两种特征图池化到相同尺寸，最后用全连接层输出判别结果0或1。

优选地，使用生成对抗的方式对所述模型进行完整过程的训练。