[发明专利]基于光场双目系统的深度信息计算方法及装置

说明书

本发明公开了一种基于光场双目系统的深度信息的计算方法及装置，其中，该方法根据光场相机可以求得精确的近距离的深度信息，以及根据普通双目相机可以求得远距离的深度信息，将普通双目相机系统中的一个相机换为光场相机，并且通过在EPI上进行理论分析以及算法实施，首次实现了同时求得较为精确的近距离及远距离深度信息，相比目前最先进的光场相机求深度的算法，在计算量几乎没有增加的同时，求得了较为精确的远距离的深度信息；相比目前最精确的双目相机系统，除了有求得近距离深度这个优势外，还对远处的深度求得了更准确的值。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于光场双目系统的深度信息计算方法及装置。

背景技术

深度探测是三维传感、机器人、自主驾驶等应用中最基本的组成部分之一。受益于室内和室外场景的兼容性，被动式解决方案像光场摄像机(如Lytro、Raytrix)，双目摄像机，在过去的几十年里，一直成为研究热点。而深度图的精度，探测范围又是深度研究中最为重要的几个研究方向。虽然最近的工作涉及到各种深度范围的尺度，比如立体匹配、光场甚至通过学习的单视图等大量的解决方案，但都无法实现全深度的测量。例如，光场相机对于拥有高角度分辨率(密集采样的角度视图)，但是对于距离较远的区域基线较小，所以无法对远距离物体求深度。基线较大的立体相机在处理远距离场景时性能较好，但对于近距离目标，有限的角度分辨率(稀疏采样的角度视图)使求深度非常困难。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于光场双目系统的深度信息计算方法，该方法可以在计算量几乎没有增加的同时，求得了较为精确的远距离的深度信息，并且除了有求得近距离深度这个优势外，还对远处的深度求得了更准确的值。

本发明的另一个目的在于提出一种基于光场双目系统的深度信息计算装置。

为达到上述目的，本发明一方面实施例提出了一种基于光场双目系统的深度信息计算方法，包括以下步骤：由单目相机与光场相机搭建光场双目系统；将通过所述光场相机和所述单目相机得到的图像进行校正，并编码生成对应图像模式，将所述图像模式的图像作为算法的输入图像；利用所述输入图像的双目信息得到远距离的视差信息图，并对所述视差图中每个像素设立一号置信度，同时求得第一置信度；若所述置信度低于预设值，则改变可求视差范围，用所述输入图像的光场信息重新求得新的视差值，以将所述新的视差值换算得到用以取代原来像素对应的深度值，同时得到目标的像素的第二置信度；将用双目和光场求得的视差图进行单位合并为index图，同时将所述一号置信度和所述第一置信度合并为confidence图，将求得的原始视差图index和置信度图confidence优化为最终视差图，并转化为深度图。

本发明实施例的基于光场双目系统的深度信息计算方法，根据光场相机可以求得精确的近距离的深度信息，以及根据普通双目相机可以求得远距离的深度信息，将普通双目相机系统中的一个相机换为光场相机，并且通过在EPI上进行理论分析以及算法实施，首次实现了同时求得较为精确的近距离及远距离深度信息，相比目前最先进的光场相机求深度的算法，在计算量几乎没有增加的同时，求得了较为精确的远距离的深度信息；相比目前最精确的双目相机系统，除了有求得近距离深度这个优势外，还对远处的深度求得了更准确的值。

另外，根据本发明上述实施例的基于光场双目系统的深度信息计算方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在搭建所述光场双目系统之后，还包括：对所述光场双目系统进行内参、外参的标定。

进一步地，在本发明的一个实施例中，所述将通过所述光场相机和所述单目相机得到的图像进行校正，并编码生成对应图像模式，将所述图像模式的图像作为算法的输入图像，包括：使得所述光场相机和所述单目相机得到的图像的分辨率一致；在空间域中对四维光场数据进行索引，每个像素对应一个预设的空间位置。