[发明专利]基于深度学习的联合噪声估计和图像去噪方法

摘要

本发明属，为实现对实际噪声的方差进行更为精确的估计，并利用估计的噪声方差辅助进行图像的去噪，本发明，基于深度学习的联合噪声估计和图像去噪方法，通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：步骤1：数据准备；步骤:2：设计噪声方差估计的网络架构；步骤3：构建图像去噪的网络架构；步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计；步骤5：设置网络参数。本发明主要应用于实际噪声的方差进行更为精确的估计场合。

主权项

1.一种基于深度学习的联合噪声估计和图像去噪方法，其特征是，步骤如下：对于一给定的带噪图像的图像模型为：X＝Y+η             (1)其中，X代表带噪图像，Y代表原图像，η则为在相机处理过程中引入的噪声；通过卷积神经网络预测噪声η的方差∑，并借助于∑预测噪声强度值从而求解原无噪声图像具体步骤如下：步骤1：数据准备步骤1.1：数据集图片分别是四种相机拍摄，其中，无噪声图片的获得是通过对一静态场景连续拍摄500次，然后取平均值，通过取带噪图像与无噪声图像的差值，作为正确噪声的标注图，而噪声方差图也是反映500张图片对于无噪声图片的波动，然后对方差图开根号，求标准差，然后对标准差进行归一化；步骤1.2：为增加数据量，从每一类数据集里的带噪大图中截取48*48*3大小的数据块，作为网络的输入数据，其中截取的图片之间允许有部分内容重叠，与之对应的噪声标准差图像块和噪声图像块分别作为噪声估计和去噪网络的标注；步骤:2：设计噪声方差估计的网络架构步骤2.1：由于噪声方差与图像内容的相关性，采用去噪卷积神经网络DnCNN网络架构，具体为1×(卷积层+修正线性单元ReLU层)—15×(卷积层+ReLU层+批规范化BN层)—1×(卷积层)—1×(损失层)，卷积层内核均为3×3大小，其中，数字意味着网络中含有多少相同的网络结构，BN是BatchNormal的缩写；步骤2.2：基于噪声方差的拜耳(Bayer)模式，在DnCNN网络的卷积层之前加入堆叠pack层，用于将带噪图像X按照拜耳模式进行降采样，产生4个子图，即对于一个2*2的二维图像块，按照贝尔模式将图像块在深度方向上堆叠为4维图像，而对于一个三维彩色图像，其2*2*3图像块经拜耳降采样后，在深度上堆叠为12维图像；步骤2.3：损失函数设定为：其中，考虑计算量和运算速度，采用标准差来代替方差，表示正确的噪声方差标注，N代表训练过程中每一个小批量数据里的图片数，代表通过卷积网络F(X_i,θ₁)预测的噪声标准差，||·||^F代表弗罗贝尼乌斯范数(Forbenious norm)；步骤3：构建图像去噪的网络架构步骤3.1：将估计的噪声标准差与带噪图像在深度方向上级联，然后再带入DnCNN网络预测噪声值，即具体的去噪网络是1×(级联层)—1×(卷积层+ReLU层)—15×(卷积层+ReLU层+BatchNormal层)—1×(卷积层)—1×(损失层)，其中，卷积层内核均为3×3大小；步骤3.2：损失函数也设定为均方值误差函数：其中，η是噪声标注，为通过去噪网络预测的噪声；步骤4：将步骤1和步骤2里的网络连接构成一个网络，同时进行标准差估计和噪声值估计；步骤5：设置网络参数：网络在caffe框架下训练，其中网络中卷积核均为3*3大小，每一个卷积层卷积核个数为64。