[发明专利]用于混合深度正则化的系统和方法

说明书

公开了根据本发明的各种实施方案的用于混合深度正则化的系统和方法。在本发明的一个实施方案中，提供了一种深度感测系统，所述系统包括：多个相机；处理器；和存储器，所述存储器包含图像处理应用程序。所述图像处理应用程序可引导所述处理器从多个视点获得多个图像的图像数据，所述图像数据包括参照图像和至少一个另选视图图像；使用第一深度估计过程生成原始深度标测图，以及置信度标测图；并且生成正则化的深度标测图。所述正则化的深度标测图可通过以下方式生成：使用不同的第二深度估计过程计算辅助深度标测图；以及基于所述置信度标测图通过从所述原始深度标测图和所述辅助深度标测图中选择深度估计来计算复合深度标测图。

技术领域

本发明整体涉及估计图像中的深度，并且更具体地，涉及用于混合深度正则化的系统和方法。

背景技术

计算机立体视觉用于多种情景，以使用来自两个不同视点的图像数据从场景获得三维(3D)信息。立体视觉的应用包括娱乐、机器人、增强现实和其他情景中的3D显示，以辨别其中的对象的位置。使用视差原理或通过比较场景的两个不同视图内的对象的位置，可提取相对深度信息，以形成深度标测图，该深度标测图指示场景中的对象与视点的距离。

发明内容

根据本发明的各种实施方案，公开了用于混合深度正则化的系统和方法。

在本发明的一个实施方案中，提供了一种深度感测系统，该系统包括：多个相机；处理器；存储器，该存储器包含图像处理应用程序。该图像处理应用程序引导处理器使用多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的图像数据包括参照图像和至少一个另选视图图像；使用第一深度估计过程、使用参照图像的图像数据和至少一个另选视图图像的图像数据，生成原始深度标测图和置信度标测图，该原始深度标测图包含该参照图像内的像素的深度估计，该置信度标测图描述原始深度标测图内包含的深度估计的可靠性；并且生成正则化的深度标测图。通过以下方式生成该正则化的深度标测图：使用不同的第二深度估计过程计算包含参照图像内的像素的深度估计的辅助深度标测图；以及通过从原始深度标测图和辅助深度标测图中选择深度估计来计算复合深度标测图，其中当该深度估计由置信度标测图指示为可靠时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在另一个实施方案中，该复合深度标测图为第一复合深度标测图，并且该图像处理应用程序还引导处理器通过计算第二复合深度标测图来生成正则化的深度标测图。通过以下方式计算该第二复合深度标测图：将平滑滤波器应用到第一复合深度标测图中的深度估计；使用滤波后的第一复合深度标测图计算边缘标测图，其中该边缘标测图指示参照图像内形成边缘的一部分的像素；以及通过从原始深度标测图和滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当该边缘标测图指示深度估计为相对于形成边缘的一部分的参照图像的像素时，从该原始深度标测图中选择参照图像中的像素的深度估计。

在另一个实施方案中，该平滑滤波器为中值滤波器。

在再一个实施方案中，该图像处理应用程序还引导处理器通过将边缘保留滤波器应用到第二复合深度标测图来生成正则化的深度标测图。

在又一个实施方案中，该图像处理应用程序还引导处理器将边缘保留滤波器应用到由边缘标测图指示为包含深度中断部分的第二复合深度标测图的至少一个区。

在再一个实施方案中，该边缘保留滤波器为具有使用原始深度标测图和参照图像确定的权重的双边滤波器。

在又一个实施方案中，该图像处理应用程序还引导处理器通过以下方式来计算第二复合深度标测图：将边缘检测应用到滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及扩张该边缘检测深度标测图，以得到边缘标测图。