[发明专利]用于噪声图像超分辨的自适应深度学习模型

权利要求书

1.一种用于执行图像超分辨的设备，所述设备包括：

一个或多个处理器，所述一个或多个处理器包括图形处理器并用于处理数据；以及

存储器，所述存储器用于存储数据，所述数据包括要进行超分辨的一个或多个图像；

其中，所述一个或多个处理器用于提供对噪声图像的超分辨，包括：

由退化复原网络的噪声估计器(NE)卷积神经网络(CNN)子网络来估计噪声输入图像的估计噪声图；以及

由所述退化复原网络的超分辨(SR)CNN子网络基于所述噪声输入图像和所述估计噪声图通过以下方式来预测干净的放大图像：对于堆叠在表示所述SR CNN子网络的一个或多个级联块中的每一个内的多个条件残差密集块(CRDB)中的每个CRDB，由紧跟在所述CRDB的一组堆叠的多个残差密集块之后的所述CRDB的噪声控制层通过向与所述噪声输入图像相关联的中间特征图的特征值施加(i)比例因子和(ii)从所述估计噪声图得出的偏移因子来调整所述特征值。

2.如权利要求1所述的设备，其中，所述一个或多个级联块中的第一级联块通过为所述第一级联块内的所有所述多个CRDB提供对所述第一级联块内的所述多个CRDB的所有先前CRDB的原始输入和输出的访问来利用来自所述第一级联块内的所述多个CRDB中的每一个的层次特征。

3.如权利要求1所述的设备，进一步包括由所述退化复原网络的一个或多个噪声移位(NS)CNN子网络中的每个NS CNN子网络来确定要与输入到所述一个或多个级联块中的对应级联块的所述估计噪声图进行组合的加性噪声图。

4.如权利要求1所述的设备，其中，所述比例因子是在所述退化复原网络的训练期间确定的。

5.如权利要求1所述的设备，进一步包括通过执行多阶段训练过程来训练所述退化复原网络，其中，所述多阶段训练过程的第一训练阶段包括同时训练用于放大训练图像的所述SR CNN子网络和用于估计与所述训练图像相关联的噪声图的所述NE CNN子网络，其中，所述训练图像包括合成噪声图像。

6.如权利要求5所述的设备，进一步包括通过在所述第一训练阶段期间执行第一优化过程来最小化第一损失函数，其中，所述第一损失函数表示为：

L＝mean(z-z′)+λ₁*mean(|o-o′|²)+λ₂*Tv(o)

其中，

z表示高分辨率真实数据图像；

z′表示在所述第一训练阶段期间由所述SR CNN子网络预测的干净的放大图像；

o表示在所述训练阶段期间由所述NE CNN子网络估计的噪声图；

o′表示添加到所述高分辨率真实数据图像的下采样版本以产生所述合成噪声图像的随机加性高斯白噪声；

λ₁是第一可配置参数；

λ₂是第二可配置参数；以及

Tv表示总方差。

7.如权利要求5所述的设备，进一步包括在所述第一训练阶段完成之后，执行第二训练阶段，包括由所述退化复原网络的一个或多个噪声移位(NS)CNN子网络中的每个NS CNN子网络通过基于所述合成噪声图像执行快速噪声移位过程来学习用于所述一个或多个级联块中的对应级联块的加性噪声图。

8.如权利要求7所述的设备，进一步包括通过在所述第二训练阶段期间执行第二优化过程来最小化第二损失函数，其中，所述第二损失函数表示为：

L＝mean(z-z′)+λ*Tv(o″)

其中，

o″是噪声移位，所述噪声移位由所述一个或多个NS CNN子网络中的NS CNN子网络基于以下各项生成：(i)由所述NE CNN子网络基于所述合成噪声图像估计的噪声图；以及(ii)由所述NS CNN子网络输出的加性噪声图；

z表示高分辨率真实数据图像；

z′表示由所述SR CNN子网络基于所述合成噪声图像和所述噪声移位预测的干净的放大图像；

λ是可配置参数；以及

Tv表示总方差。