[发明专利]基于深度学习的光场图像雪花或雨带检测去除方法及设备

权利要求书

1.一种基于深度学习的光场图像雪花或雨带检测与去除方法，其特征在于，包括：

步骤S11、检测器利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；

步骤S13、生成器采用3D U型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；

步骤S15、判别器获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像；

步骤S17、通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；

其中，所述利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸，包括：利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜，包括：根据3D残差网络设定残差块；设定第一、第二卷积层参数，每个残差块分别使用第一卷积层及第二卷积层；在使用第一卷积层及第二卷积层之后，添加标准化操作和长短时记忆网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述采用3D U型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像，包括：根据所述掩膜，利用3D U型网络去除第一光场图像中的雪花或雨带，得到第二光场图像；

所述利用3D U型网络去除第一光场图像中的雪花或雨带，得到第二光场图像，包括：根据位置关系，将3D U型网络分为编码器网络与解码器网络；分别采用编码器网络及解码器网络对雪花或雨带数据进行编码及解码；采用池化层下采样，设定输出函数，得到第二光场图像。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S11之前，还包括：

采集第一光场图像及第三光场图像。

3.根据权利要求1所述的方法，其特征在于，所述判别器的目标函数为：

其中，V_T是虚拟场景的3D无雪EPI体积块真值，为生成的无雪3DEPI体积块，其中，公式中的D为判别器及其相关参数，G为生成器及其相关参数。

4.一种基于深度学习的光场图像雪花或雨带检测与去除系统，其特征在于，包括：

检测模块，用于利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸；

去除模块，用于生成器采用3D U型网络，通过自学习将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像；

判别模块，用于获取第二光场图像与第三光场图像，通过判断区分第二光场图像与第三光场图像的真伪来优化判别器的目标函数，第三光场图像为与第一光场图像在同一场景下的无雪花或雨带的光场图像；

评估模块，通过峰值信噪比和结构相似性来评估生成的第二光场图像的质量，若评估结果不符合要求，再次执行步骤S11,S13,S15，直至评估结果满足要求；

其中，所述利用3D残差网络，检测获取的第一光场图像中雪花或雨带的位置及尺寸，包括：利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述利用3D残差网络，得到第一光场图像的雪花或雨带数据的掩膜，包括：根据3D残差网络设定残差块；设定第一、第二卷积层参数，每个残差块分别使用第一卷积层及第二卷积层；在使用第一卷积层及第二卷积层之后，添加标准化操作和长短时记忆网络，得到第一光场图像的雪花或雨带数据的掩膜；

所述采用3D U型网络，将检测出的第一光场图像中的雪花或雨带去除，得到第二光场图像，包括：根据所述掩膜，利用3D U型网络去除第一光场图像中的雪花或雨带，得到第二光场图像；

所述利用3D U型网络去除第一光场图像中的雪花或雨带，得到第二光场图像，包括：根据位置关系，将3D U型网络分为编码器网络与解码器网络；分别采用编码器网络及解码器网络对雪花或雨带数据进行编码及解码；采用池化层下采样，设定输出函数，得到第二光场图像。