[发明专利]一种基于4D光场的深度估计方法

说明书

技术领域

本发明属于多媒体技术与计算机图形学的技术领域，具体地涉及一种基于4D光场的深度估计方法。

背景技术

光场的概念最早出现在计算机图形学中，Gershun在其经典文章“三维空间光的无线电特性”里正式使用“光场”这个术语，用以描述光在三维空间中的辐射传输特性。E.Adelson和J.Bergen根据人眼对外部光线的视觉感知，在1991年提出用七维函数来表征空间分布的几何光线，称为全光函数。全光函数P(x，y，z，θ，ψ，λ，t)中七个变量的含义分别是：(x，y，z)为场景中任一物理点的三维坐标，(θ，ψ)为光线的传输方向，λ是光线的波长，t为时间。如果只考虑光线在空间中的自由传输，它的颜色(波长)一般不会发生改变，美国北卡罗来纳大学的麦克米兰(McMillan)不考虑全光函数的波长和时间维，将七维全光函数降到五维函数I(x，y，z，θ，ψ)来描述。随后，Levoy和Hanraham等人忽略光线在传输过程中的衰减将五维的全光函数(光场)降至四维，提出了四维光场的概念。

Leovy等人给出的4D光场L(u，v，s，t)其实就是自由空间中任意点沿着一定方向的光线的辐射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。4D光场的参数化有2SP参数法、PDP参数法和2PP参数法。

普通相机所拍摄的二维图像是4D光场的一个二维切片，它记录了投影到当前像素位置的物理点所发射光线的强度及方向信息，因此物理点的位置信息可以基于4D光场估计得到。

已有的基于光场估计深度信息的方法通常将深度分为多个等级，对每个像素点估计能量优化函数值，与最小能量值对应的深度等级作为估计像素的深度值，这种方法求得的深度值是预先设定的等级数值之一，因此会造成深度过平滑问题。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于4D光场的深度估计方法，其能够解决初始深度值的可靠性问题、深度过平滑问题、深度值融合问题。

本发明的技术解决方案是：这种基于4D光场的深度估计方法，包括以下步骤：

(1)初始深度估计：通过公式(3)、(4)计算得到视差的初值d₀：

d₀＝J_xx-J_yy(3)

其中G_σ是尺度为σ的高斯平滑算子，I_x、I_y为是尺度为ρ的梯度算子；

(2)检测可计算像素：

边缘置信系数C_e通过公式(5)获得：

C_e(x，y，s，t)＝∑_{(x′，y′，s，t)∈W(x，y，s，t)}||L(x，y，s，t)-L(x′，y′，s，t)||²(5)

其中W(x，y，s，t)表示(s，t)视点下获得图像的某个像素点在该图像上的9×9邻域窗口，L(x，y，s，t)表示该像素点对应的光线辐射值，由C_e值对该像素点计算得到一个二值模板M_e，C_e值大于阈值0.04时模板M_e对应位置取值1，否则取值0，其中值为1表示对应置信像素能够进行深度估计运算；

(3)深度值计算：选取视点下获得图像的置信点进行深度计算

光线颜色值采样集合定义为公式(6)

其中为视点坐标，n、m分别对应水平和垂直方向视点的个数，表示在视点下像素点对应的光线辐射值，为公式(7)的深度打分函数

其中核函数K(W)为公式(8)

其中的计算根据公式(9)，核函数带宽为0.02是利用mean-shift算法迭代计算得到的

针对视点下的图像上每个可信像素，将该像素所在水平方向EPI面上9×9邻域窗口和垂直方向EPI面上9×9邻域窗口所有置信像素的视差上下限作为视差区间，对区间内按步长为0.01的每个视差d都计算相应打分函数值，其中根据公式(10)使得打分函数值最高的d值作为该像素的深度估计值：

对每个可信像素计算其与邻域中其它可信像素的颜色值差，将颜色差值小于指定阈值ε的可信像素深度值排序，根据公式(11)取该序列的中值作为深度估计值：

(4)深度值传播：