[发明专利]一种基于卷积神经网络的极端条件下的图像修复方法

说明书

本发明公开了一种基于卷积神经网络的极端条件下的图像修复方法。本发明包括如下步骤：步骤1：对获取到的短曝光图像进行预处理；步骤2：将预处理后的图像输入U‑Net卷积神经网络进行训练；步骤3：计算误差并进行迭代训练；步骤4：对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。本发明有效地解决低光下快速成像的问题，同时也为图像去噪、去模糊提供了一种新的可行方法。

技术领域

本发明涉及图像修复领域，尤其涉及基于卷积神经网络在极端条件下对图像的修复方法。

背景技术

在低照度环境下，成像系统采集到的视频图像由于环境照度较低，使得视频图像中有用信息和噪声混合在一起，导致目标特征不明显，清晰度不高，难于辨别，需要使用数字图像处理技术来降低噪声对人眼识别景物的影响。与此同时，在夜间城镇环境中，由于城市照明光的覆盖面较小，城市道路存在较多的光覆盖盲点。因此，给夜间视频检测带来了严重挑战。其主要表现为：一是图像呈现大量暗区，暗区内容模糊不清、细节丢失；二是在人工光源下，图像又出现部分高光区，使得图像整体亮度严重不均，图像质量严重下降。虽然高照度和长曝光时间可以提高成像质量，但其存在不可避免的缺陷。例如，在提高照度的同时也会放大噪声。在延长曝光时间的同时，也会由于相机抖动或物体运动而导致成像模糊。

目前，许多关于图像去噪、去模糊和低光图像增强等技术相继提出，但这些技术通常的操作目标为较暗条件下捕获到的图像，即图像只携带有中等程度的噪声。相反，我们更感兴趣的是在极端低光条件下，如严重受限的光照和极短时间的曝光。在这种情况下，传统相机的处理方式已不再适用。

得益于最近几年神经网络的兴起，许多研究人员将神经网络应用于图像去噪领域，而且取得了不错的效果，但大多数方法只针对于合成模糊图像或者是只适用于特定的噪声图像，并不能得到广泛的推广。

发明内容：

本发明提出了一种基于卷积神经网络的在极端条件下的图像修复方法。该方法能够直接建立模糊图像与清晰图像间的联系，可以快速的产生清晰图像，从而获取所需信息。

具体来说，我们训练深度神经网络学习低光照条件下原始数据的图像处理技术，包括颜色转换、去马赛克、降噪和图形增强等。我们通过端对端的方式来进行模型训练，以避免图像处理中噪声的放大和误差的累计。

传统的基于卷积神经网络的图像去噪方法，大多是在合成数据集上进行的实验，例如在清晰图像中加入高斯噪声或椒盐噪声以合成模糊图像用于实验。由于这类数据集不能很好地模拟真实场景中存在的噪声，所以训练出的模型也不能得到广泛的应用。因此，我们需重新建立一个数据集来进行模型训练。为了得到模糊图像更加完整的信息，我们选择原始的传感器数据(即.RAW格式的图片)来进行训练。这样可以有效地避免传统相机处理流水线导致的信息丢失。

该数据集由原始的低照度、短曝光时间图像和相应的长曝光时间参考图像组成，值得注意的是，多张短曝光图像可以对应于相同的长曝光时间的参考图像，这样可以有效地增加训练模型的鲁棒性。

我们的数据集包含了室内和室外图像。室外图像通常是在月光或街道照明条件下拍摄所得。在室外场景下，相机的照度一般在0.2lux和5lux之间。室内相机的照度则更暗，一般在0.03lux和0.3lux之间。短曝光图像的曝光时间设置为1/30秒到1/10秒。相应的参考图像的曝光时间需要延长100到300倍，即10到30秒。

数据采集时，相机固定在三脚架上。为了避免由于镜面反射引起的干扰，我们使用无反射镜的相机进行拍摄。在每个场景中，首先拍摄长曝光参考图像。拍摄时，将光圈、感光度、焦点和焦距等调节为最优状态，以最大化的提高参考图像的质量。之后，使用远程控制程序将曝光时间进行缩短以进行短曝光图像拍摄。在整个拍摄过程中，我们要确保相机不会发生移动。

在完成数据集采集后，我们的实验步骤如下：

步骤1：对获取到的短曝光图像进行预处理；