[发明专利]用于混合深度正则化的系统和方法

权利要求书

1.一种深度感测系统，包括：

多个相机；

处理器；

存储器，所述存储器包含图像处理应用程序；

其中所述图像处理应用程序引导所述处理器：

使用所述多个相机从多个视点获得多个图像的图像数据，其中所述多个图像的所述图像数据包括参照图像和至少一个另选视图图像；

使用第一深度估计过程、使用所述参照图像的所述图像数据和所述至少一个另选视图图像的所述图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述所述原始深度标测图内包含的深度估计的可靠性；以及

通过以下方式生成正则化的深度标测图：

使用不同的第二深度估计过程计算包含所述参照图像内的像素的深度估计的辅助深度标测图；以及

通过从所述原始深度标测图和所述辅助深度标测图中选择深度估计来计算复合深度标测图，其中当所述深度估计由所述置信度标测图指示为可靠时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

2.根据权利要求1所述的深度感测系统，其中所述复合深度标测图为第一复合深度标测图，并且所述图像处理应用程序还引导所述处理器通过以下方式生成正则化的深度标测图：

通过以下方式计算第二复合深度标测图：

将平滑滤波器应用到所述第一复合深度标测图中的深度估计；

使用所述滤波后的第一复合深度标测图计算边缘标测图，其中所述边缘标测图指示所述参照图像内形成边缘的一部分的像素；以及

通过从所述原始深度标测图和所述滤波后的第一复合深度标测图中选择深度估计来计算第二复合深度标测图，其中当所述边缘标测图指示所述深度估计为相对于形成边缘的一部分的所述参照图像的像素时，从所述原始深度标测图中选择所述参照图像中的像素的深度估计。

3.根据权利要求2所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器将边缘保留滤波器应用到由所述边缘标测图指示为包含深度中断部分的所述第二复合深度标测图的至少一个区。

4.根据权利要求2所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过以下方式来计算所述第二复合深度标测图：

将边缘检测应用到所述滤波后的第一复合深度标测图，以得到边缘检测深度标测图；以及

扩张所述边缘检测深度标测图，以得到所述边缘标测图。

5.根据权利要求1所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过测量在所述参照图像和所述至少一个另选视图图像之间的可观察视差，使用所述参照图像的所述图像数据和所述至少一个另选视图图像的所述图像数据，生成原始深度标测图和置信度标测图，所述原始深度标测图包含所述参照图像内的像素的深度估计，所述置信度标测图描述包含在所述深度标测图内的深度估计的可靠性。

6.根据权利要求5所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器通过以下方式基于在所述参照图像和所述至少一个另选视图图像之间测量的可观察视差来估计深度：

通过将所述参照图像中的像素与基于使用成本函数的多个深度样本确定的所述至少一个另选视图图像中的像素的相似度进行比较来测量视差；以及

通过识别所述采样深度来估计所述参照图像中所述像素的深度，在所述采样深度处，所述参照图像中的像素的所述成本函数将最强匹配指示为所述像素的所述估计深度。

7.根据权利要求6所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器：

使用在每个采样深度处使用所述成本函数确定的成本在存储器中构建成本体积；以及

基于所述成本体积来计算所述辅助深度标测图。

8.根据权利要求7所述的深度感测系统，其中所述图像处理应用程序还引导所述处理器使用第二深度估计过程计算所述辅助深度标测图，包括：

对所述参照图像和所述成本体积进行降采样；以及

使用所述成本体积估计深度，以在所述参照图像的无纹理区中的所述辅助深度标测图内实施平滑深度过渡。