[发明专利]一种基于可变高度旋转平行四边形的光场深度估计方法

说明书

本发明公开了一种基于可变高度旋转平行四边形的光场深度估计方法，包括以下步骤：A、输入四维光场数据生成对极平面图像；B、运用可变高度的旋转平行四边形运算符(HSPO)对对极平面图像进行数据计算，得到距离度量；C、对所述距离度量进行置信、加权得到最终距离度量；D、得到滤波后的距离度量体积；E、根据所述滤波后的距离度量体积，得到初始深度图；F、对所述初始深度图进行处理得到平滑深度图；G、对所述平滑深度图运用软抠图算法，得到最终深度图。本发明提供的光场深度估计方法不仅具有能够处理减弱遮挡物对深度估计的消极影响，提升弱纹理区域的局部深度估计精度的特点，而且对合成光场数据和真实光场数据都有效。

技术领域

本发明涉及一种光场深度估计方法，具体地说是一种基于可变高度旋转平行四边形的光场深度估计方法。

背景技术

深度是指空间场景中的物体到相机平面的远近距离。由于场景的深度线索能够有效地呈现出观测物的空间几何结构信息，使其在自动驾驶、虚拟现实、医疗、目标识别与跟踪和显著性检测等领域中有着重要的作用。因此，深度估计向来是计算机视觉中的重点研究课题。传统的单目、双目及多目深度估计只考虑了场景光线的强度信息，而忽略了场景光线的传播方向，所以得到的深度图精确度比较低，特别是遮挡、反光、弱纹理和噪声污染等情况发生时。

Gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分的方法来计算像面上每点的光辐射量。光场图像不仅能够捕捉到了空间场景中每一点积累的强度，而且还能够捕捉到每一条光线的方向。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证和应用。随着计算机技术的不断发展和微透镜制作精度的提高，Adelson于1992年将光场理论成功运用到计算机视觉，并提出全光场理论 (Plenoptic theory)。随后几年，全光场函数经历了从七维、五维至四维的转换，使其更适合实际应用中的记录和处理。

目前主流的基于光场的深度估计的主流算法主要分成基于多视图立体匹配的深度估计方法、基于重聚焦的深度估计方法、基于对极平面图像的深度估计方法。每种方法都有各自的优缺点：多视角深度估计方法利用不同视角间的匹配关系估计场景深度，能够有效消除视角串扰及光场混叠效应的影响，但对遮挡场景的鲁棒性较差，并且多个视角间虚拟相机的基线太短可能会导致误匹配的问题；基于重聚焦的深度估计对焦点堆栈图像进行聚焦性检测来精确估计场景深度，可以保留更多细节，但精确性较差，且不适用于非朗伯面、遮挡等复杂场景；基于对极平面图像的深度估计方法根据对极平面图像的极线斜率和场景深度成比例关系来提取深度信息，能够在一定程度上减轻镜面反射光及深度不连续区域的错误估计，对遮挡有一定鲁棒性，但是此类方法数据计算量较大，时间复杂度较高，并且估计结果容易受到噪声影响。

1996年，Levoy提出双平面参数化法表征光场，他认为，自由空间中的所有光线都能够用两个相互平行的平面来表示。通过固定两个平面上的某些坐标轴，即抽取光场图像阵列中某一行(列)图像，将它们同一行(列)上的像素组合成一幅新的记录了空间场景点移动轨迹的图像，称之为对极平面图像 (Epipolar Plane Image，EPI)。对极平面图像由很多不同斜率的直线组成，这些直线记录了当视角沿某一方向移动时，各场景点在视角图像上对应的移动轨迹，即直线的斜率与对应场景点的深度有关，因此，重建中心视图场景深度的问题转化为求对极平面图像中直线斜率的问题。现有的基于对极平面图像的深度估计方法较少能明确处理遮挡和弱纹理区域的情况，一旦出现遮挡和弱纹理情况，深度估计容易出错。这在深度估计领域中是具有挑战性的问题。

发明内容

根据上述提出的技术问题，而提供一种基于可变高度旋转平行四边形的光场深度估计方法。本发明采用的技术手段如下：

一种基于可变高度旋转平行四边形的光场深度估计方法，包括以下步骤：

A、输入四维光场数据生成水平对极平面图像和垂直对极平面图像：