[发明专利]一种基于无监督深度学习的光场深度估计方法

说明书

本发明公开了一种基于无监督深度学习的光场深度估计方法。本发明设计了无监督损失函数；同时从光场图像中提取一组3×3排列的子光圈图像作为光场深度估计网络的输入，输出中心子光圈图像的视差图，实现端到端的训练。步骤S1.准备光场数据集，制作训练集和测试集；步骤S2.搭建无监督光场深度估计网络；步骤S3.设计无监督光场深度估计损失函数；步骤S4.使用训练集训练无监督光场深度估计网络；本发明通过使用本发明自主搭建的网络结构以及损失函数，在海德堡图像处理实验室提供的4D光场数据集评测网站上，可以获得优于其它无监督深度估计方法的精度。

技术领域

本发明属于深度学习和计算摄影学领域，特别涉及基于无监督深度学习的光场深度估计方法。

背景技术

深度学习是近年来人工智能领域中的热点技术，已在图像处理、计算机视觉、自然语言处理等多个方向取得了突破性进展。卷积神经网络是深度学习网络的主要结构之一，它利用卷积层从输入数据中提取低层到高层的语义特征，然后利用这些特征完成分类、回归等任务。相比于传统机器学习方法。深度学习的主要步骤包括：构建训练数据集、设计卷积层、全连接层、激活函数等深度学习网络结构和参数，定义损失函数；利用误差反向传播机制和梯度下降优化算法更新神经网络的权重值，从而实现深度学习网络的训练过程。训练完成的深度学习网络模型可以拟合出某个高维复杂函数，可实现从输入到输出的映射；利用训练完成的深度学习网络模型在测试数据集上进行预测。

与此同时，光场成像与计算是近年来计算摄影学领域中的一门新兴技术。光场相机通过在相机主透镜和图像传感器之间增加一个微透镜阵列，可记录汇聚在图像传感器像素上各入射方向的光线强度，形成四维光场成像。光场成像为突破传统成像模型的维度局限提供了新思路和新方法。利用四维光场提供的空间-时间信息，可实现单帧光场恢复场景结构(深度)信息。光场深度估计研究已获得了越来越多的关注。利用光场成像几何中的外极线图，焦距栈以及角度信息等特性，已提出了许多基于光场几何特性的光场深度估计方法。这些方法通常基于光度一致性、外极线线性约束等假定，但在真实光场成像中不可避免地受到畸变、噪声等各种因素影响。

利用深度学习提取深度线索和深度特征具有更好的鲁棒性，近年来基于有监督深度学习的光场深度估计方法取得了显著成功。但是有监督深度学习方法的性能严重依赖于已知真实深度图的光场数据集质量和数量。由于光场成像的复杂性，光场成像时的已知真实深度信息获取困难，尤其是真实场景下的光场成像。用于光场深度估计的现有光场数据集都是由三维绘制软件合成得到。在合成的光场数据集下完成的深度学习模型，在真实场景下的泛化表现难以令人满意。针对上述问题，我们提出了一种基于无监督深度学习的光场深度估计方法，它能够在不提供真实深度信息的情况下进行无监督学习。

发明内容

本发明的目的是针对现有技术的不足，设计了一种基于无监督深度学习的光场深度估计方法，同时设计了无监督损失函数。从光场图像中提取一组3×3排列的子光圈图像作为光场深度估计网络的输入，输出中心子光圈图像的视差图，实现端到端的训练。

进一步的，该方法需准备光场数据集，制作训练集和测试集，具体实现如下：

步骤S1-1：根据双平面表示方法，光场图像定义为LF(u,v,s,t,c)，其中(u,v)为光场角度坐标，(s,t)是光场空间坐标，c为颜色通道，u的取值范围为[-U,U]，v的取值范围为[-V,V]，s的取值范围为[0,W-1]，t的取值范围为[0,H-1]，则光场图像包含了一组(2U+1)×(2V+1)排列的子光圈图像阵列；光场角度坐标为(u,v)的子光圈图像表示为LF_(u,v)(s,t,c)，中心子光圈图像表示为LF_(0,0)(s,t,c)，每个子光圈图像大小为W×H；

步骤S1-2：使用海德堡图像处理实验室提供的4D光场数据集作为实验数据集，该数据集包含28个场景的光场图像，并提供了高精度的视差和性能评估指标；将其中16幅光场图像用于制作训练集，剩余12幅光场图像用于制作测试集；