[发明专利]基于方向和尺度自适应卷积神经网络的光场深度估计方法

说明书

本发明公开了一种基于方向和尺度自适应卷积神经网络的光场深度估计方法。本发明包括如下步骤：步骤1.准备光场数据集，制作训练集和测试集；步骤2.搭建方向和尺度自适应的卷积神经网络SOA‑EPN；步骤3.使用训练集训练搭建好的SOA‑EPN网络；步骤4.使用练好的SOA‑EPN网络在测试集上进行测试；本发明借助于尺度和方向感知卷积神经网络来预测光场深度，不仅利用了多方向，而且很好的处理了遮挡等问题，得到准确的深度估计结果。

技术领域

本发明是关于深度学习与光场深度估计领域，特别涉及基于方向和尺度自适应卷积神经网络的光场深度估计方法。

背景技术

深度学习是近年来人工智能领域中的一项重要突破，已在图像识别、语音识别、自然语言处理等多个方向取得了突破性进展。相比于传统机器学习方法，深度学习方法的主要过程为：构建数据集；使用卷积层、全连接层、激活层等定义深度神经网络，定义损失函数；利用数据集训练定义好的深度网络模型，即使用反向传播技术和梯度下降等优化方法更新神经网络的参数。训练完成的深度网络模型可以拟合出某个高维复杂函数，该函数实现网络输入到输出的映射；利用训练好的深度模型在测试数据集上进行预测。卷积神经网络是人工神经网络发展最成功的网络结构之一，它擅长利用卷积层提取输入图像从低维到高维的深度特征，然后利用这些特征完成分类、回归等任务。

与此同时，光场成像与计算是近年来计算机视觉领域中的一门新兴技术，通过在相机镜头和图像传感器之间增加一个微透镜阵列，光场相机可以记录下汇聚在传感器像素上的光线的亮度与角度，形成4D光场，为突破传统成像模型和成像机制的维度局限提供了新思路和新方法[]。鉴于4D光场提供的丰富信息，利用光场图像进行场景结构(深度)恢复的研究获得了越来越多的关注，一批基于EPI(Epipolar Plane Image)图像分析的深度估计方法涌现出来，这些方法本质上是一种立体匹配方法。EPI图像是4D光场的一个切片，它由极线(Epipolar Lines)组成，通过计算极线的斜率，可以间接获得深度图，完成深度估计。但是这种方法也面临着难以计算图像无纹理区域、遮挡区域的深度等问题。如何选择大小合适的匹配窗口是解决这些问题的一个关键，例如在计算图像无纹理区域的深度时，需要一个较大的窗口将更多的邻域像素纳入到匹配代价的计算中，增强邻域约束。相反，在计算图像遮挡区域的深度时，需要一个较小的窗口避免纳入过多的遮挡点影响匹配代价的计算。另一方面，多方向EPI图像为深度估计提供了更多的约束和深度线索。综上，我们设计了一种具备EPI图像方向自适应、EPI图像尺度自适应能力的卷积神经网络来解决上述深度估计面临的无纹理和遮挡问题。

发明内容

本发明的目的是针对现有技术的不足，设计了一种以0°、45°、90°、135°四个方向的EPI图像块作为输入，输出视差图，具备EPI图像方向自适应、EPI图像尺度自适应能力的卷积神经网络(SOA-EPN)，并利用SOA-EPN提出了一种光场深度估计方法。

本发明解决其技术问题采取的技术方案包括如下步骤：

步骤1.准备光场数据集，制作训练集和测试集；

步骤2.搭建方向和尺度自适应的卷积神经网络SOA-EPN；

步骤3.使用训练集训练搭建好的SOA-EPN网络；

步骤4.使用练好的SOA-EPN网络在测试集上进行测试；

步骤1具体包括下述步骤：