[发明专利]一种基于远近景的弱监督超分辨率重建模型及方法

权利要求书

1.一种基于远近景的弱监督超分辨率重建模型，包括：

数据集构建模块，用于构建训练用远近景分辨率重建数据集，所述数据集中的数据以远景图像和随机抽取的近景图像为一个训练样本；

训练样本加载模块，用于加载训练样本；

第一生成器网络，用于对所加载的训练样本的远景图像Fi进行重建得到远景高分辨率图像Si，并将获得的远景高分辨率图像Si输入至判别器，同时将获得的远景高分辨率图像Si输入到第二生成器网络；

第二生成器网络，用于对输入的远景高分辨率图像Si进行重建输出远景低分辨率图像fi，输入所述远景图像Fi、第一生成器网络G输出远景高分辨率图像Si以及第二生成器网络输出所述远景低分辨率图像fi形成一个闭环；

判别器，用于对经所述第一生成器网络中重建得到的远景高分辨率图像Si与所述训练样本的近景图像Ni进行判别，输出判别结果。

2.如权利要求1所述的一种基于远近景的弱监督超分辨率重建模型，其特征在于：所述训练样本加载模块采用批量加载，每次加载若干个样本，每个训练样本包括一远景图像以及随机抽取的近景图像，在加载时调整每帧图片尺寸，使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。

3.如权利要求1所述的一种基于远近景的弱监督超分辨率重建模型，其特征在于：所述判别器使用CinCGAN判别器的特征编码网络分别提取输入对应的特征图，然后使用全局池化层将不同尺寸的两种特征图池化到相同尺寸，最后用全连接层输出判别结果0或1。

4.如权利要求3所述的一种基于远近景的弱监督超分辨率重建模型，其特征在于：使用生成对抗的方式对所述模型进行完整过程的训练。

5.如权利要求1所述的一种基于远近景的弱监督超分辨率重建模型，其特征在于：利用Adam作为各生成器和判别器的优化器，学习率衰减方式使用ReduceLROnPlateau方式。

6.一种基于远近景的弱监督超分辨率重建方法，包括如下步骤：

步骤S1，加载训练样本，并于加载时对加载的训练样本进行预处理，所加载的训练样本包括远景图像和近景图像；

步骤S2，以迭代方式加载训练样本的远景图像Fi输入到第一生成器网络中重建得到远景高分辨率图像Si，同时将经第一生成器网络得到的远景高分辨率图像Si输入到第二生成器网络，输出所述远景高分辨率图像Si重建得到的远景低分辨率图像fi；

步骤S3，将经第一生成器网络中重建得到的远景高分辨率图像Si与所述训练样本的近景图像Ni输入到判别器，输出判别结果；

步骤S4，计算判别器损失，并根据该损失进行反向传播更新判别器参数；

步骤S5，计算各生成器损失，根据求得的损失进行反向传播更新生成器参数；

步骤S6，在每一轮训练后利用验证集中的样本进行一轮验证，并于验证过程中根据各生成器和判别器的平均损失是减小各生成器和判别器学习率；

步骤S7，重复步骤S1-S6，进行迭代优化直到训练完毕。

7.如权利要求6所述的一种基于远近景的弱监督超分辨率重建方法，其特征在于，于步骤S1中，批量加载若干训练样本，并在加载时调整每帧图片尺寸，并使用旋转、翻转进行数据增强，并对各图片的像素值进行归一化处理。

8.如权利要求6所述的一种基于远近景的弱监督超分辨率重建方法，其特征在于：由所输入的远景图像Fi，第一生成器网络输出远景高分辨率图像Si，第二生成器网络最后输出远景低分辨率图像fi，形成闭环。

9.如权利要求6所述的一种基于远近景的弱监督超分辨率重建方法，其特征在于：于步骤S3中，使用CinCGAN判别器的特征编码网络分别提取输入对应的特征图，然后使用全局池化层将不同尺寸的两种特征图池化到相同尺寸，最后用全连接层输出判别结果0或1。

10.如权利要求6所述的一种基于远近景的弱监督超分辨率重建方法，其特征在于：于步骤S6中，判断各生成器的平均损失是否一直减小，若保持连续patience次不减小，则以设定倍数减小生成器学习率；若判别器的的平均损失连续patience次不减小，则以设定倍数减小判别器学习率。