[发明专利]一种基于卷积神经网络的极端条件下的图像修复方法

权利要求书

1.一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于包括如下步骤：

步骤1：对获取到的短曝光图像进行预处理；

1-1.对于获取到的.RAW图像阵列，先按R、G、B三色素对像素进行分类；由于.RAW图像阵列中R、G、B的数量比为1:2:1，因此，将像素阵列分为4个通道；此时每个通道的空间分辨率为原始图像的一半；

1-2.对像素灰度值进行“归零”处理，使图像中像素的灰度值与光照强度呈线性关系；其具体过程为：

首先，将拍摄得到的图像进行检测，检测到该“归零”阈值为“512”；

其次，将图像中所有像素的灰度值减去该阈值；

最后，将图像中低于零的灰度值设置为零，高于零的灰度值保持不变；

步骤2：将预处理后的图像输入U-Net卷积神经网络进行训练；

2-1.通过端对端的方式对U-Net网络进行训练，以避免图像中噪声的放大和误差的累计；

2-2.在训练中，随机裁剪一个512×512的补丁用于训练，同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据；

步骤3：计算误差并进行迭代训练；

3-1.U-Net网络的输出为12通道，并且每个通道的空间分辨率为原始输入图像的一半；

3-2.对U-Net网络的输出进行亚像素卷积处理，以生成一幅与输入大小相同的图像；

3-3.以输入图像对应的长曝光图像作为参考图像，计算二者的L1范数损失函数；选择Adam算法作为网络的优化器；

步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。

2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于以.RAW数据作为输入，其形状为H×W×1，对输入数据进行打包，分为四个通道，打包后的形状为H/2×W/2×4；所述的图像阵列中的R、G、B像素等间隔均匀分布。

3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于所述的U-Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成；其输入的图像为选取的512×512的补丁，并且经过了随机翻转和旋转变换；即输入网络的图像形状为：512×512×4，其卷积实现过程如下：

①第一层卷积：对输入图像使用32个大小为3×3×4的卷积核进行卷积，输出为512×512×32；

第一层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为256×256×32；

②第二层卷积：对输入图像使用64个大小为3×3×32的卷积核进行卷积，输出为256×256×64；

第二层下池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为128×128×64；

③第三层卷积：对输入图像使用128个大小为3×3×64的卷积核进行卷积，输出为128×128×128；

第三层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为64×64×128；

④第四层卷积：对输入图像使用256个大小为3×3×128的卷积核进行卷积，输出为64×64×256；

第四层池化：对卷积层的输出使用大小为2×2的模板进行max pooling，其输出为32×32×256；

⑤第五层卷积：对输入图像使用512个大小为3×3×256的卷积核进行卷积，输出为32×32×512；

⑥第一层上采样：对卷积层的输出使用256个大小为2×2×512的模板进行上采样，其输出为64×64×256；将输出与第四层卷积的输出进行组合，其最终输出为64×64×512；

第六层卷积：对输入图像使用256个大小为3×3×512的卷积核进行卷积，输出为64×64×256；

⑦第二层上采样：对卷积层的输出使用128个大小为2×2×256的模板进行上采样，其输出为128×128×128；将输出与第三层卷积的输出进行组合，其最终输出为128×128×256；

第七层卷积：对输入图像使用128个大小为3×3×256的卷积核进行卷积，输出为128×128×128；

⑧第三层上采样：对卷积层的输出使用64个大小为2×2×128的模板进行上采样，其输出为256×256×64；将输出与第二层卷积的输出进行组合，其最终输出为256×256×128；

第八层卷积：对输入图像使用64个大小为3×3×128的卷积核进行卷积，输出为256×256×64；

⑨第四层上采样：对卷积层的输出使用32个大小为2×2×64的模板进行上采样，其输出为512×512×32；将输出与第一层卷积的输出进行组合，其最终输出为512×512×64；

第九层卷积：对输入图像使用32个大小为3×3×64的卷积核进行卷积，输出为512×512×32；

⑩第十层卷积：对输入图像使用12个大小为3×3×32的卷积核进行卷积，输出为512×512×12。

4.根据权利要求2所述的一种基于卷积神经网络的极端条件下的图像修复方法，其特征在于将输入的四个通道经过多层特征提取后，最终输出为12通道。