[发明专利]基于深度学习的光场图像雪花或雨带检测去除方法及设备

说明书

本发明公开一种基于深度学习的光场图像雪花或雨带检测与去除方法及系统，方法包括：利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；采用3D U型网络，将检测出的雪花或雨带去除，得到第二光场图像；获取第二光场图像与第三光场图像，通过判断第二光场图像与第三光场图像的真伪来优化判别器及目标函数；通过峰值信噪比和结构相似性指标评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；本方案，直接检测雪花或雨带数据，利用光场图像具有丰富的三维结构信息的特点检测并去除雪花或雨带，自动迭代更新神经网络模型的中间隐含参数，雪花或雨带去除效果好。

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于深度学习的光场图像雪花或雨带检测去除方法及设备。

背景技术

随着计算机科学领域在高精尖技术支持下取得巨大发展，计算机视觉领域的研究也获得了巨大的进步。在计算机视觉领域，光场成像技术应用非常广泛。相比于传统相机，光场相机通过单次曝光即可获取场景的四维信息，包括两维空间信息和两维角度信息,因而在图像重建过程中，能够获得更加丰富的图像信息，此外，还能通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题；通过合成孔径技术实现“透视”监视；在与显微技术融合后，还能得到多视角大景深显微图像，以及重建后的三维立体图。随着对光场技术的深入研究，光场图像处理渐渐被国内外的专家学者所关注，被自动驾驶为代表的工业界用来作为三维场景感知的重要技术手段。光场图像处理的研究重点为深度估计、超分辨率及图像修复等方面。

在计算机视觉领域，由于光照、遮挡以及雪花或雨带自身形状和颜色的复杂性，单幅图上的雪花或雨带去除算法只能依据图像中的颜色和形状信息来对雪花或雨带进行检测并去除，有很大的局限性，雪花或雨带去除效果较差。

综上所述，现有技术方案中缺少一种雪花或雨带去除效果较好的雪花或雨带去除方案。

发明内容

本发明实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除方法及系统，以解决现有技术中缺少一种雪花或雨带去除效果较好的雪花或雨带去除方案的技术问题。

第一方面，根据本申请实施例提供一种基于深度学习的光场图像雪花或雨带检测与去除方法，包括：

步骤S11、检测器利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；

步骤S13、生成器采用3D U型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；

步骤S15、判别器获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像，也称作第二光场图像的真值；

步骤S17、通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；

其中，所述利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸，包括：利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜，包括：根据3D残差网络设定残差块；设定第一、第二卷积层参数，每个残差块分别使用第一卷积层及第二卷积层；在使用第一卷积层及第二卷积层之后，添加标准化操作和长短时记忆网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述采用3D U型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像，包括：根据所述掩膜，利用3D U型网络去除第一光场图像中的雪花或雨带，得到第二光场图像；