[发明专利]一种基于DEC_SE的低照度图像超分辨率重建方法

权利要求书

1.一种基于DEC_SE的低照度图像超分辨率重建方法，其特征在于，包括如下步骤：

1)加工现有数据源：将数据集Urban100中的每一对数据中的低分辨率图片模拟低照度下成像的特点得到低照度的低分辨率图片即LLR,所述每一对数据包括高分辨图片即HR和低分辨率图片即LR，将得到的每张低照度的低分辨率图片和原数据集中对应的HR和LR构成新的数据对即每一数据对包含同一张图片的三张不同形式：HR、LR和LLR，得到新的数据集New-Urban100，New-Urban100数据集分组情况如表1所示：

表1：

2)特征提取：特征提取过程包括：

2-1)选取滤波器的大小为3*3、输入通道为3、输出通道为C；

2-2)将正常照度的低分辨率图片LR和低照度的低分辨率图片LLR与所选滤波器分别做卷积操作，在做卷积操作之前需要对原始图片进行填充即padding，且它们的滤波器参数共享，得到C个特征图即feature map作为另一动作的输入；

3)残差密集分解网络的训练：过程包括：

3-1)依据Retinex理论，将输入的图片分解成如公式(1)所示的反射图像R和光照图像I：

S＝R·I (1)，

公式(1)中S代表原图像，R代表反射图像,I代表光照图像,·代表element-wisemultiplication操作；

3-2)将步骤2)得到的特征图送入残差密集分解网络即RDD-Net中训练,所述残差密集分解网络由一系列卷积操作和激活函数组成，并且该网络对特征的表达采用密集连接和跳跃链接；

3-3)将LR和LLR的残差密集分解网络参数共享，且经过RDD-Net网络后，两张图片会分别被分解为反射图像和光照图像，LR分解的反射图像为Rnormal、光照图像为Inormal，LLR分解的反射图像为Rlow、光照图像为Ilow，如公式(2)所示来训练该网络：

L_dec＝||R_low-R_normal||₁ (2)，

用1范数来求两张不同照度的低分辨率图片的反射图像的差，并以此作为残差密集分解网络的损失函数；

4)超分增强网络的训练：过程包括：

4-1)对反射图像处理：对低照度低分辨率的图片的反射图像进行上采样，先进行卷积操作，提取高层特征，上采样操作采用Pixel shuffle，上采样操作为：若将一张W×H×1图像放大r²则需要先对这张图片进行预处理，即卷积操作：将通道数转化为r²，且每个特征图的大小尺寸和原图一样，转化后的特征图为W×H×r²，将每个特征图对应点的像素按顺序组合起来即得到一张放大后的图像，大小为rW×rH×1，如公式(3)所示：

Y＝fⁿ(R_low)＝PS(W_n*f^n-1(R_low)+b_n) (3)，

其中Y为上采样的结果，fⁿ代表卷积操作和Pixel shuffle操作，R_low代表要上采样的反射图像，PS代表Pixel shuffle，W_n代表最后一层卷积层的参数，f^n-1代表之前的卷积操作，b_n代表最后一层的偏置，损失函数为公式(4)所示：

这是根据Pixelshuffle改写的均方误差即MSE,其中r²为要放大的倍数，H代表原图像的高，W代表原图像的宽，代表对应高分辨率图片的反射图像，代表预处理和Pixelshuffle操作，R^llr代表要上采样的图像；

4-2)对光照图像和反射图像的处理：采用超分增强网络即SPEH-Net来对光照图像和反射图像进行处理，将反射图像一起送入SPEH-Net进行训练，保证光照图像能够保持结构边界且细节纹理平滑，先将反射图像和光照图像进行拼接操作，拼接后是特征图为2的特征图，然后送入SPEH-Net网络，所述SPEH-Net网络设有三个子模块，分别为下采样模块、通道转化模块和上采样模块，该网络对输入的特征图经过这三个子模块进行超分增强，最终得到一张重建的光照图像，损失函数采用L2范数，如公式(5)所示：

其中n代表批处理的数据对个数，代表第i对数据的高分辨率图片的光照图像，g()表式SPEH-Net网络的操作，代表第i对数据集的低照度低分辨率的光照图像；

5)超分辨率重建：将超分增强网络的两个输出、反射图像的上采样结果和光照图像的超分辨率增强结果进行element-wise multiplication，即可得到最终的重建图像，损失函数如公式(6)所示：

其中n代表批处理的数据对个数，R′_i,low代表第i个数据对的低照度的低分辨率图片的反射图像上采样后的反射图像，I′_i,low代表第i个数据对的低照度的低分辨率图片的光照图像增强后的光照图像，·代表element-wise multiplication，S_i代表第i个数据对正常照度的高分辨率图片。