[发明专利]一种基于极面图像颜色差异的光场相机深度估测系统及方法

说明书

本发明涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法，本发明所述系统包括以下4大模块：极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块、深度估测可视化输出模块。本发明主要完成光场相机的极面图像生成、深度信息估测、三维场景深度图融合输出等功能。系统可根据光场相机深度粒度参数和输出格式要求，对深度估测结果图进行优化，自动输出符合需求的拍摄场景深度估测结果图像。

技术领域

本发明涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法，具体说是一种针对光场相机的基于极面图像上特有的线性结构的自动深度估测并可视化输出深度分布图的深度估测系统及方法，属于相机成像和场景结构重建领域。

背景技术

目前光场相机由于其特殊的镜头阵列结构，使得对于目标场景的连续多角度观测更加便利，光场相机因此被应用于场景结构的三维重建等工作中，然而利用光场图像进行三维场景重建首先需要对场景的深度进行估测，对不同景深的物体进行区别和分割，因此深度估测的准确性成为了影响光场应用的重要前置工作。

对于光场图像的深度估测，主要可以划分为两大方法，其一是基于立体匹配的深度估测算法[1，2]，其二是基于极面图像的深度估测算法[3，4]。Chen[1]和Yu[2]提出基于立体匹配的深度估测算法，其主要思路是提取同一场景点在多个镜头中的成像，选取最小匹配代价对应的深度作为深度估测结果，其优点在于能够有效利用多个镜头内成像图像，充分利用了光场相机多镜头的特点，对比多个角度成像差异，从而匹配得到匹配代价最小的深度作为深度估测结果，但是其劣势也十分明显，当对若纹理区域和遮挡区域进行估测时，立体匹配将会出现极大的误差，其原因在于，对于若纹理区域，大面积的图像显示出单一色彩，对于立体匹配算法来说，大面积的相似颜色之间的匹配结果显示出极小的差异，从而也很难比较出匹配代价最小的深度标签，从而极大地影响深度估测结果，而对于遮挡区域，其在正确深度下的角采样图像为颜色不相同的一组像素点，因此在基于立体匹配的深度估测算法中，对于遮挡区域的深度估测时，其在正确深度下的匹配代价将会增大，在错误深度下得到一个匹配代价的最小值，从而导致深度估测的结果出现严重的误差；Wanner[3，4]提出了针对极面图像的深度估测方法，改技术能够比较好的避免类似的问题，基于极面图像的深度估测算法其主要思想是匹配得到极面图像上的线性结构从而实现深度估测的目的，由于光场相机连续角度观测场景的特点，使得被观测像素点在极面图像上由于深度不同形成了斜率不同的直线结构，依据极面图像上的线性结构特点，可以通过识别匹配线性结构从而达到估测场景深度的目的，相比于基于立体匹配的深度估测算法，基于极面图像的深度估测使用了更少角度的图像但是具有更强的抗干扰性，尤其是对于遮挡区域有着更好的深度估测效果，但是由于使用的图像信息不充分，其准确度依旧有待提高。

目前光场图像的深度估测与场景重建已经取得了相关研究成果，但是对于应用于实际光场相机还存在一些技术难点，其中不仅需要深度估测算法的运算效率高，能够较快的依据使用者拍摄图像做出反应并估测，还需要应对大部分存在不确定噪声的现实复杂场景，具有较高的鲁棒性。如何将快速准确的深度估测算法应用于光场相机是目前的首要问题。当光场相机在非常规结构化的环境下工作，拍摄场景中常出现难以预测的噪声，因此挑选深度估测算法时，不仅需要考虑到算法的计算速度问题，还需要寻求一种对于遮挡噪声鲁棒的深度估测方法。

【1】Chen C，Lin H，Yu Z，et al.Light field stereo matching usingbilateral statistics of surface cameras[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2014：1518-1525.