[发明专利]一种基于光场的图像深度估计方法

权利要求书

1.一种基于光场的图像深度估计方法，其特征在于包括如下步骤：S1、光场原始数据视点提取：光场相机通过微透镜阵列获取场景在不同视角下的图像，光场相机的微透镜阵列中的单个微透镜在传感器上覆盖的图像称为子图像，根据估计的子图像中心位置，直接使用未经去马赛克的光场原始数据提取视点，进行视点分离，再对缺失像素的信息进行插值处理；S2、基于块匹配的深度估计：对于与中心视点处于同一行或同一列的视点所组成的视点对，将与视点对对应的记录相同光线颜色的对应像素块进行相似性度量，找到使相似性最大的深度；

其中所述步骤S1包括：光场原始数据视点提取包括如下步骤：S11、子图像中心估计：估计出各个子图像中心在传感器坐标系上对应的位置；S12、像素重排：在子图像中选取处于相同位置或相同角度分辨率的像素，保持像素间的相对位置关系，如果某位置没有像素，用空白代替，构成一幅视点图，在分离后的视点中使用插值方法对空白像素位置进行填补。

2.如权利要求1所述的基于光场的图像深度估计方法，其特征在于还包括如下步骤：S3、基于显著特征约束的深度优化：提取显著特征点并进行匹配，将估计出的视差作为强约束条件，优化深度估计；

步骤S3中，得到最终视差优化函数为：

其中，d表示视差，d(x₀,y₀)表示在中心视点下像素(x₀,y₀)处的视差，Π表示与中心视点处于同一行上的视点对和处于同一列上的视点对的集合，p和q属于Π中的一对视点对，conf^p，q(x₀，y₀，d)为显著特征约束项，cost^p，q(x₀，y₀，d)为视差d的代价函数；

其中显著特征约束项由下述方法确定：使用基于块匹配的深度估计中得到的视点对集合Π，Π对中的任意一对p和q，显著特征约束项为：

其中，和分别表示中心视点下特征点(x₀,y₀)与p和q视点下对应特征点的视差，M表示SIFT算子在中心视点中检测为显著特征并且能在p视点下找到对应的显著特征的点集合，N表示SIFT算子在中心视点中检测为显著特征并且能在q视点下找到对应的显著特征的点集合。

3.如权利要求1或2所述的基于光场的图像深度估计方法，其特征在于：步骤S11中，子图像中心由下式获得：

c_i＝round(Tm_i+o)

其中，传感器像素按照直角坐标系排列，记为C坐标系；微透镜排列的二维坐标系记为M坐标系，o表示C坐标系和M坐标系原点的平移向量，T表示变换矩阵，m_i表示微透镜坐标，round(.)表示取整。

4.如权利要求1所述的基于光场的图像深度估计方法，其特征是：所述使用插值方法对空白像素位置进行填补包括如下步骤：如果空白像素的同一行相邻两个位置都是记录同一颜色光线的像素，则该空白像素记录相同颜色光线，响应值为两个相邻位置的平均值；如果空白像素的同一行相邻两个位置记录光线颜色不同，则该空白像素记录的颜色信息和响应值与左边像素相同。

5.如权利要求1或2所述的基于光场的图像深度估计方法，其特征是：步骤S2中，深度值由下式给出：

其中d(x₀,y₀)表示在中心视点下像素(x₀,y₀)处的视差，深度depth和视差d成反比关系，r表示与相机参数相关的常数，

其中，

Med表示中值滤波器，(x₀,y₀)为像素坐标，cost^p，q(x₀，y₀，d)为视差d的代价函数，Π表示与中心视点处于同一行上的视点对和处于同一列上的视点对的集合，p和q是属于Π中的一对视点对。