[发明专利]一种光场图像深度流估计方法

说明书

本发明公开了一种新的光场图像深度流估计方法。本发明步骤如下：步骤(1)：将原始光场数据处理为一组子光圈图像阵列；步骤(2)：计算中心子光圈图像的空间导数；步骤(3)：对每一幅子光圈图像进行双边滤波；步骤(4)：计算初始光场深度流视差估计；步骤(5)：对步骤(4)得到的初始视差估计进行迭代优化；步骤(6)：对视差估计进行归一化处理，将视差范围规定在[0,1]区间内；采用投票机制融合视差，用直方图统计计算得到的视差并取频数最大的视差为最终视差估计。本发明基于Horn和Schunck光流算法，创造性地把深度参数β直接带入HS光流计算公式中，提高了深度估计的准确性。

技术领域

本发明涉及视觉图像处理技术领域，具体的涉及一种新的光场图像深度流估计方法。

背景技术

光场相机的发展带动了光场技术的更新，不同于传统图像只能记录光线的强度信息和位置信息，光场图像还可以记录光线的方向信息。光场成像以其独特的优势成为一种重要的信息获取手段，并已经在立体匹配、图像分割、目标识别、三维重建等诸多领域广泛应用。而这些应用都是建立在准确的深度估计基础上。所以深度估计是光场技术的至关重要的一环。

深度指的是场景中某一点到相机中心所在平面的距离。场景中的所有点都映射在一张深度图上，深度图上的每一个像素记录了该点到相机中心所在平面的距离。

深度计算的方法各种各样，常见的主要有多视图立体法、光度立体视觉法、色度成形法、散焦推断法以及基于机器学习的方法等等。本发明采用的是基于光流的深度流估计算法。

光流，是Gibson在1950年首先提出来的。它是空间运动物体在成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通过分析图像的光流变化，可以反映现实场景的运动场。

光流在图像拼接、目标跟踪、运动估算、无人机避障、医学图像分析等领域有着广泛的应用。但目前大多数光流算法存在计算量大、耗时较长的问题，这阻碍了光流算法的广泛应用。快速光流算法是计算机视觉领域一个亟待解决的问题。

现有的光流计算方法主要分为以下几类：基于梯度的方法、基于区域的匹配法、基于能量的方法、基于相位的方法和神经动力学法。大多数光流计算通常采用基于梯度的方法，其中比较经典的是 Horn-Schunck(H-S)算法和Lucas-Kanade(L-K)算法。1981年，Horn和Schunck推导出光流基本约束方程，在此基础上加上整体平滑约束，构成了著名的H-S算法。同年，Lucas和Kanade提出一种迭代的基于梯度的图像匹配算法，即L-K算法。该算法基于局部平滑假设，假设一个窗口内所有像素具有相同的运动矢量。

HS光流法基于两个假设：亮度恒定假设和全局平滑假设。前者假设在t时刻时，图像上一点(x,y)处的灰度值为I(x,y,t)。在t+Δt时，该点运动到图像中的新位置，记为(x+Δx,y+Δy),该点灰度值记为 I(x+Δx,y+Δy,t+Δt)。根据图像亮度恒定假设，运动前后灰度值不变，有I(x,y,t)＝I(x+Δx,y+Δy,t+Δt)。等式右边用泰勒级数展开，忽略掉高次项，整理得到I_xu+I_yv+I_t＝0,该式即为光流基本约束方程，其中分别表示图像灰度对x,y,t的偏导数。u和v代表光流的水平和垂直分量，算法中还包括全局平滑假设，即

发明内容

本发明的目的在于提供一种新的光场图像深度流估计方法，并以所得光流估计图像的深度图。该算法基于Horn和Schunck光流算法，创造性地把深度参数β直接带入HS光流计算公式中，提高了深度估计的准确性。

本发明方法的具体步骤如下：

步骤(1)：将原始光场数据处理为一组子光圈图像阵列，具体如下：