[发明专利]一种基于改进Unet的RAW域夜景图像去噪方法

权利要求书

1.一种基于改进Unet的RAW域夜景图像去噪方法，其特征在于，包括如下步骤：

S1:获得噪声图像和高质量图像数据集，并且将图片进行像增强操作；

S2:采用类Unet的训练网络，在图像下采样阶段，采用改进自注意力模块进行特征提取，提取全局信息；

S3:在图像上采样阶段，采用卷积模块，并结合像素重组方法，把低分辨率的潜在特征作为输入，并分阶段恢复出高分辨率的图像；并在网络添加全局和局部残差卷积块，

S4:将数据集分为训练集和测试级，记录训练损失值以及测试集的峰值信噪比PSNR和结构相似性SSIM作为模型的评估依据；

S5：将待处理的噪声图像加载到模型中，经过处理后获得去噪后的图像。

2.根据权利要求1所述的基于改进Unet的RAW域夜景图像去噪方法，其特征在于，所述步骤S1中，获得噪声图像和高质量图像数据集并进行图像增强操作，具体包括如下步骤：

S11：针对同一场景，拍摄低ISO图像作为真实标签，高ISO图像作为噪声图像，并调整曝光时间等相机参数使得两张图像亮度一致；

S12：将图片进行随机裁剪、旋转和缩放，使其能够正常输入到网络模型中；且由于RAW域图像读入时为单通道数组，进行通道数的改变以及归一化处理，如下公式所示：

其中，Output为输出图像，raw为输入的RAW格式的图像，black_level为传感器的黑电平，white_level为传感器的白电平。

3.根据权利要求1所述的基于改进Unet的RAW域夜景图像去噪方法，其特征在于，在网络添加全局和局部残差卷积块，全局残差块包括对下采样的每个改进Transformer模块和上采样的CNN模块的输入输出都进行跳跃连接，局部残差块包括对每个模块内部进行阶段性的跳跃连接，如下公式所示：

Y＝F(X)+X

其中，X为输入特征图，F(X)为经过处理后的特征图，Y为输出特征图。

4.根据权利要求3所述的基于改进Unet的RAW域夜景图像去噪方法，其特征在于，所述步骤S2中，所述进自注意力模块包括Self-Attention模块和前馈神经网络；具体方法为：

S21：先对输入特征图进行逐层归一化，如下公式所示：

计算第L层的均值和方差：

式中，为第L层第i个神经元的净输入，n^(l)为第L层神经元的数量；

再进行层归一化：

式中，γ为缩放因子，β为平移因子，z^l为逐层归一化后的第L层神经元，∈为一个较小值，防止除0操作；

S22：层归一化向量之后特征图大小为X∈R^H×W×C，再使用逐点卷积改变输入特征图的通道数，融合各个通道在相同空间位置上的特征信息；然后使用逐通道卷积，融合每个通道在不同空间位置上的特征信息；以此学习到Self-Attention中的产生Q、K和V矩阵，如下公式：

其中，是尺寸为1×1的逐点卷积，是尺寸为3×3的逐通道卷积，H、W和C分别为输入特征图的宽、高和通道数；

S23：最后再经过一次逐层归一化后通过一个前馈神经网络得到最终输出；

总的来说，整个自注意力模块的流程为：

T＝Attention(Q，K，V)+X

Out＝MLP(LN(T))+T

其中，T为中间处理过程中的向量，Out为经过自注意力模块的输出向量，LN(·)为层归一化，MLP(·)为多层感知机，为向量的维度。