[发明专利]一种基于迁移学习的光场图像雨条纹检测与去除方法

说明书

本发明公开一种基于迁移学习的光场图像雨条纹检测与去除方法，该方法包括深度图计算模块、雨条纹检测模块和雨水去除模块。本发明首先利用深度图计算模块得到深度图，然后通过雨条纹检测模块检测出合成数据雨条纹图并利用高斯过程模块自监督地检测出真实场景数据雨条纹图，最后将带雨3DEPI体积块、得到的深度图和提取的雨条纹图串联之后，输入3D递归生成对抗网络到中进行雨水的去除，如此反复训练，直到得到高质量的无雨图。相比于同类型工作，本发明利用迁移学习构建自监督网络，能够更准确地提取真实场景的雨条纹并得到高质量的无雨图，具有良好的泛化能力。

技术领域

本发明涉及一种基于迁移学习的光场图像雨条纹检测与去除方法，属于计算机图像处理技术领域。

背景技术

图像去雨任务一直是计算机视觉领域的难点和热点。最近基于深度学习的图像去雨方法在重建误差和视觉质量方面都表现出优异的性能。然而，由于获取真实场景图像去雨数据集存在各种挑战，这些方法大多只在合成的数据上进行训练，很难推广到真实场景的图像。

另外，现有的除雨方法主要是应用于单张图像或帧序列。然而，不论在单张图像上还是帧序列上都很难利用深度信息或雨条纹的位置关系来有效地检测并去除雨水，而且在真实场景上没有较好的效果。

光场图像(Light Field Image，LFI)可以一次捕获多个子孔径视图，记录目标场景丰富的结构和纹理信息，更容易估计深度图，并且子孔径视图中雨条纹的位置在空间上高度相关。

因此，为了增强网络的泛化能力同时利用LFI的优势以解决上述问题，本发明设计了一种基于迁移学习的光场图像雨条纹检测与去除方法。

发明内容

本发明的目的在于提供一种基于迁移学习的光场图像雨条纹检测与去除方法，通过利用迁移学习构建自监督网络，以便更准确地提取真实场景的雨条纹并得到高质量的无雨图，从而增强网络的泛化能力。

为实现上述发明目的，本发明采用如下技术方案：

一种基于迁移学习的光场图像雨条纹检测与去除方法，所述方法包括深度图计算模块、雨条纹检测模块和雨水去除模块；

其中，所述深度图计算模块通过计算得到深度图；

所述雨条纹检测模块检测出合成数据雨条纹图，同时，利用基于高斯过程的自监督网络检测出真实场景数据雨条纹图；

所述雨水去除模块，将带雨3DEPI体积块、深度图计算模块得到的深度图和雨条纹检测模块提取的雨条纹图串联之后，输入3D递归生成对抗网络到中进行雨水的去除，并修复背景，如此反复训练，直到得到高质量的无雨图。

进一步地，所述的深度图计算模块，首先利用多流神经网络从不同的方向提取光场子视点的信息，然后进入融合网络计算深度图。

更进一步地，所述的深度图包括合成数据深度图和真实场景深度图；其中，合成数据深度图由合成数据进入深度图计算模块得到；真实场景深度图由真实场景数据进入深度图计算模块得到。

进一步地，所述的雨条纹检测模块，以光场图像一行子视点堆叠而成的3DEPI体积块为输入，利用残差网络进行雨条纹的特征提取，在每层卷积中，通过高斯过程对提取的合成数据特征和真实场景数据特征进行建模，得到真实场景数据的伪真值，伪真值进一步用于监督网络对真实场景数据特征的提取。

进一步地，所述的雨条纹图包括合成数据雨条纹图和真实场景雨条纹图；其中，合成数据雨条纹图由合成数据进入雨条纹检测模块得到；真实场景雨条纹图由真实数据进入雨条纹检测模块得到。

进一步地，所述的雨水去除模块，设有LSTM层和判别器结构。

更进一步地，所述的LSTM层用以传播每次迭代卷积层之间的特征。

再进一步地，所述的每次迭代，利用长短时记忆网络进行特征的传递。