[发明专利]一种基于独立相机视角下空间采样的多光编码相机的深度提取方法

说明书

本发明公开了一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，应用于以多深度少纹理为基础的多视点采集和重建架构。本发明从独立的光编码深度相机视角出发，通过对采集场景进行空间分层采样的方式解决多光编码相机系统存在相互干扰的问题，从而获得无干扰的场景深度图。本发明与基于结构光及多视点立体的平面扫描方法相比，可有效降低多光编码相机间的干扰，在获得精确深度信息的同时能够更好地保留场景的形状信息，为三维场景重建提供高质量、高精度的深度图像。

技术领域

本发明属于融合多深度信息的复杂场景采样与重建领域，特别涉及多光编码深度相机间的干扰消除与深度提取。

背景技术

近年来，随着数字电视技术和显示技术的不断发展，从多角度身临其境地观看场景的立体视频正逐渐成为人们的迫切需求。传统的2D视频由于缺少景物的深度信息，剥夺了观察者的视觉立体感受；而且人们不能根据自身的喜好编辑、操作视听对象，使用户失去了交互操作的权利。为了让观察者能够感知立体视觉效果，基于多视点的3D视频应运而生。本质上，2D与3D视频的区别就在于深度信息。由于3D视频蕴含丰富的深度信息，使其在自然场景的表征上更具立体感，进而增强了用户的自然感知能力。

由于深度图获取的难度大、精度差、价格高，传统的多视点数据采集系统大都是基于纹理相机的。2008年以前没有深度相机，人们通过立体匹配等估计方法间接地获取场景深度。这些方法不仅计算复杂度高难以实时，而且复杂场景下对于遮挡、纹理重复等区域的匹配结果不准确。2011年微软推出的光编码深度相机Kinect打破了这一格局。它给出了一种实时的场景深度图像提取方法；并且以低廉的价格和可开发性吸引着越来越多的计算机视觉研发人员。随着Kinect深度相机的广泛推广，使基于多深度的多视点视频研究和应用成为可能，并将具有巨大的发展和应用前景。

然而当多台Kinect同时工作在同一场景下时，由于不同红外投影机发射的散斑在空间内叠加，使每台Kinect在匹配时受到来自其它深度相机信号的干扰，无法区分自身的投影散斑，导致深度计算出现错误，从而严重地影响了深度图的进一步应用。这也是目前正在使用的光编码深度相机面临的致命问题。

研究人员在多光编码深度相机的干扰消除上尝试了许多方法。理论上，时分复用与频分复用都可以用来解决信号间干扰，但对于多光编码深度相机并不适用。时分复用需要严格的同步机制，很难被应用在大规模的采集系统中，而且对于运动场景的捕捉具有很大的困难；频分复用需要对不同的深度相机进行不同的频率定制，这很难在有限的红外频段下实现。基于结构光及多视点立体的平面扫描方法可以有效地减小多光编码深度相机间的干扰。通过考虑投影机与相机及相机与相机间的光强度相关性，该方法可以恢复任意视点下散斑重叠区域的深度信息，获得无干扰的深度图。但是由于相机约束条件的限制，在某些遮挡情况下被重建物体的形状会产生畸变。被遮挡处的物体深度与背景深度混淆，导致深度提取出现错误。基于以上分析，现有方法或多或少都存在一些不足。

发明内容

本发明的目的是为了解决现有技术的不足，提出一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，目的在于消除多个光编码深度相机间的干扰，同时避免因相机约束条件所导致的被遮挡物体深度与背景深度混淆的问题，可以在多深度相机同时工作的情况下，获得准确的场景深度信息。

一种基于独立相机视角下空间采样的多光编码相机的深度提取方法，包括如下步骤：

(1)将某独立相机视角下的拍摄空间划分为若干深度测试平面；

(2)在某一确定的测试平面下，将该相机成像平面中的某一待测像素点重投影到各投影机的视点下；

(3)分别在各重投影像素点周围取邻域，估算这些邻域的线性组合与相机成像平面中待测像素点邻域相等时的线性权值；

(4)利用已求出的线性权值，计算重投影像素点邻域的线性组合与待测像素点邻域的相似度；