[发明专利]基于多尺度融合及边缘增强的真实图像去噪方法

权利要求书

1.基于多尺度融合及边缘增强的真实图像去噪方法，其特征在于，包括以下步骤：

步骤一：在图像输入阶段，随机采用数据增强技术，变换样本内容；数据增强技术的具体实现方法包括以下步骤：

S11：对输入的图像以1/2的概率决定是否对其进行数据增强；

S12：当需数据增强时，则在输入图像中随机定位3个图像块，各图像块的宽和高的取值在范围[0，1/4×W]，[0，1/4×H]里随机指定；其中，输入图像宽为W，高为H；

S13：对于被定位到的图像块，将其替换为用于监督对应位置的无噪声图像块内容，即让网络对这部分像素进行恒等映射的学习；

步骤二：将原始含噪图片输入网络，对其同时进行三种尺度的卷积操作，利用膨胀卷积技术，使用三个卷积核，参数量不变，进行初步平滑处理，输出三张平滑后的图；

步骤三：将步骤二中输出的图与原始输入图进行级联，送入融合阶段，同时采用跳连结构，及时补充信息，输出融合了不同尺度平滑效果的特征图；融合阶段由五个注意力模块、一个特征图动态表达模块，以及间隔的下采样、上采样构成；融合阶段的具体处理步骤为：

S31：融合阶段的网络结构形字母V，共包含三层，左侧逐步下采样，视为编码器，右侧对应逐步上采样，视为解码器；

S32：每一层首先进行两次3×3×32的卷积，进一步提取特征，再通过一个注意力模块，对携带不同尺度信息的特征图进行通道重要性重校准；注意力模块的具体工作步骤为：

S321：对输入模块的特征图H×W×C，使用一层3×3×C×64的卷积操作，进一步抽象特征；

S322：通过ReLU激活函数，再次通过一层3×3×64×64的卷积操作，而后利用通道注意力机制校准不同通道的重要性；

S323：对模块的输入和S322的输出进行逐像素相加，作为注意力模块的最终输出；

S33：下采样阶段的每一层结尾，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；

S34：上采样阶段的每一层开头，使用转置卷积，进行2倍的上采样，并和下采样阶段同一层的具有相同分辨率的输出进行级联，及时补充前半部分空间信息，同时合并深层次语义特征信息；

S35：对V字形网络的输出，将其再通过特征图动态表达模块，融合不同的尺度信息，每层特征图进行自适应表达，即输出平滑结果，与输入网络的带噪图尺寸大小完全一样；特征图动态表达模块的具体工作步骤为：

S351：通过三个不同卷积核大小的卷积层来表达特征，得到U'、U”和U”'，然后将结果逐像素相加得到混合特征

S352：将进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换，再一分为三，得到对应的三个通道校准系数向量α、β和γ，并在整体上做softmax归一化操作，即对三个向量沿着各通道进行加权处理；

S353：将三个向量α、β和γ与U'、U”和U”'分别相乘，再逐像素相加，此时各特征通道自适应地选择了不同大小的卷积核进行特征表达；

S354：通过一个单层卷积，得到恢复后的干净图像；其中卷积层的尺寸为3×3×1；

步骤四：对初始输入网络的图像、经过平滑操作的图像以及步骤三输出的特征图采用拉普拉斯算子进行边缘提取，设置阈值对结果进行二值化，得到5通道的边缘图像；将边缘图像与步骤三输出的特征进行级联，送入增强模块；

步骤五：增强模块输出的特征图经过卷积处理，映射到输出的特征维度，然后输出最终的清晰图像，卷积核的输出通道数与输入原始图像的通道数一致。

2.根据权利要求1所述的基于多尺度融合及边缘增强的真实图像去噪方法，其特征在于，步骤二中三个所述卷积核的大小依次为3×3、5×5和7×7。

3.根据权利要求1所述的基于多尺度融合及边缘增强的真实图像去噪方法，其特征在于，S322中所述的通道注意力机制具体过程为：

a：对输入的原始特征U进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ；

b：使用通道校准系数向量μ与输入特征U相乘，对其重新校准。

4.根据权利要求1所述的基于多尺度融合及边缘增强的真实图像去噪方法，其特征在于，增强模块具体工作步骤为：

S41：对输入的特征图H×W×5，依次通过三个级联的残差模块，每个残差模块包括3×3的卷积、ReLU激活函数以及再次的3×3的卷积，最后将结果与模块输入进行逐像素相加；同时整个增强模块采用稠密卷积网络结构，即每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层；

S42：输入与第一个残差模块的输出H×W×5级联，得到的特征图为H×W×10，通过1×1卷积操作将输出映射为H×W×5，送入第二个残差模块；

S43：第二个残差模块的输出与第一个残差模块的输出以及输入特征图级联，得到H×W×15的特征图，通过1×1卷积输出H×W×5，随后送入第三个残差模块；

S44：使用一个1×1的卷积层对输出进行特征映射，得到最终完成去噪且保有边缘细节的图像并输出。