[发明专利]一种图像超分网络的训练方法及装置

权利要求书

1.一种图像超分网络的训练方法，其特征在于，包括：

获取第一训练数据，所述第一训练数据包括成对的第一低清图像和高清图像；

利用训练好的自编码网络，获取第一低清图像对应的编码信息，所述编码信息包括所述第一低清图像中不同区域对应的编码；

以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为先验信息，训练所述图像超分网络；

其中，以所述编码信息作为先验信息，用于引导所述图像超分网络对所述第一低清图像的不同区域采用不同的超分算法。

2.根据权利要求1所述的方法，其特征在于，所述以所述第一低清图像作为图像超分网络的输入，以高清图像作为图像超分网络的输出，以所述编码信息作为所述图像超分网络的先验信息，训练所述图像超分网络，包括：

利用第一卷积层，对所述第一低清图像进行特征提取，得到第一特征；

以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，得到第二特征；

利用上采样模块，对所述第二特征进行上采样操作，得到第三特征；

利用第二卷积层，对所述第三特征进行卷积计算，输出所述高清图像；

当训练次数达到预设迭代次数，则训练结束，获得训练后的图像超分网络。

3.根据权利要求2所述的方法，其特征在于，所述残差网络包括至少两个残差模块，所述以所述编码信息作为先验信息，利用残差网络对所述第一特征进行调制，包括：

将所述编码信息映射为仿射变换参数；

以所述第一特征作为所述残差网络的输入，利用所述仿射变换参数，对所述残差网络中的第一残差模块输出的第四特征进行空间特征变换，得到第五特征，以所述第五特征作为所述残差网络中的第二残差模块的输入；

其中，所述第一残差模块为所述残差网络中的任意相邻两个残差模块中的前一个残差模块，所述第二残差模块为所述残差网络中的任意相邻两个残差模块中的后一个残差模块。

4.根据权利要求3所述的方法，其特征在于，所述将所述编码信息映射为仿射变换参数，包括：

分别对所述编码信息进行两次卷积计算，得到第一仿射变换参数和第二仿射变换参数，其中，所述第一仿射变换参数用于对所述第四特征进行缩放变换，所述第二仿射变换参数用于对缩放变换后的所述第四特征进行平移变换。

5.根据权利要求4所述的方法，其特征在于，每个所述残差模块由多个卷积层组成；

其中，每个所述残差模块的输出，包括所述多个卷积层中最后一个卷积层的输出以及所述多个卷积层中第一个卷积层的输出，所述多个卷积层中最后一个卷积层的输入，包括所述多个卷积层中倒数第二个卷积层的输出以及所述多个卷积层中第一个卷积层的输出。

6.根据权利要求1所述的方法，其特征在于，所述自编码网络包括编码器和解码器，所述自编码网络的训练方法，包括：

获取第二训练数据，所述第二训练数据包括第二低清图像；

利用所述编码器对所述第二低清图像进行编码，得到所述第二低清图像对应的预测均值向量和预测方差向量；

根据所述预测均值向量和预测方差向量，得到所述第二低清图像对应的正态分布；

对所述正态分布进行采样，得到所述第二低清图像对应的采样向量；

利用所述解码器对所述采样向量进行解码，得到预测低清图像；

基于所述正态分布和标准正太分布，确定第一损失；

基于所述第二低清图像和所述预测低清图像，确定第二损失；

基于所述第一损失和所述第二损失，对所述自编码网络进行训练。

7.根据权利要求6所述的方法，其特征在于，所述第一低清图像与所述第二低清图像相同。

8.根据权利要求6所述的方法，其特征在于，所述利用训练好的自编码网络，获取与第一低清图像对应的编码信息，包括：

将所述第一低清图像输入训练好的自编码网络，利用所述训练好的自编码网络得到所述第一低清图像对应的均值向量和方差向量；

将所述第一低清图像对应的均值向量和方差向量作为所述编码信息。