[发明专利]深度估计

说明书

一种估计场景的深度的图像处理系统。所述图像处理系统包括融合引擎，用于接收来自几何重建引擎的第一深度估计和来自神经网络架构的第二深度估计。所述融合引擎被配置为概率地融合所述第一深度估计和所述第二深度估计以输出所述场景的融合深度估计。所述融合引擎被配置为接收来自所述几何重建引擎的所述第一深度估计的不确定性测量和来自所述神经网络架构的所述第二深度估计的不确定性测量，并且使用所述不确定性测量来概率地融合所述第一深度估计和所述第二深度估计。

技术领域

本发明涉及估计场景的深度。本发明特别但不排他地与由机器人装置使用来导航其环境和/或与其环境交互的深度估计相关。

背景技术

在计算机视觉和机器人领域，通常需要构建三维(3D)空间的表示。构建3D空间的表示允许将现实世界环境映射到虚拟或数字领域，在那里它可以被电子装置使用和操纵。例如，在增强现实应用中，用户可能会使用手持装置与对应于周围环境中实体的虚拟对象进行交互，或者可移动的机器人装置可能需要3D空间的表示以允许同时定位和映射，并且因而允许对其环境的导航。在许多应用中，可能需要智能系统具有环境的表示，以便将数字信息源联接到物理对象。然后，这允许高级人机接口，其中人周围的物理环境成为接口。以类似的方式，这样的表示还可以实现高级的机器-世界接口，例如使机器人装置能够与现实世界环境中的物理对象交互并操纵所述物理对象。

有多种技术可用于构建3D空间的表示。例如，运动中恢复结构和同时定位和映射(SLAM)就是两种这样的技术。SLAM技术通常涉及估计要映射的3D场景的深度。可以使用深度相机来执行深度估计。然而，深度相机通常具有有限的范围、相对较高的功耗，并且可能无法在诸如明亮的阳光下之类的室外环境中正确工作。在其他情况下，可以在不使用深度相机的情况下，例如基于空间的图像，来执行深度估计。

K.Tateno等人在2017年IEEE计算机视觉与模式识别(CVPR)会议论文集中发表的论文“CNN-SLAM:Real-time dense monocular SLAM with learned depth prediction”描述了融合由卷积神经网络(CNN)获得的深度图与从直接单目SLAM获得的深度测量。为了恢复模糊的深度边界，CNN预测的深度图用作重建的初始猜测，并借助依赖于每像素基础上的小基线立体匹配的直接SLAM方案来连续地精炼。然而，该方法不能保持全局一致性。

鉴于现有技术，需要可用且有效的深度估计方法，例如以改进3D空间的映射。

发明内容

根据本发明的第一方面，提供了一种估计场景的深度的图像处理系统。所述图像处理系统包括融合引擎，用于接收来自几何重建引擎的第一深度估计和来自神经网络架构的第二深度估计，并且用于概率地融合所述第一深度估计和所述第二深度估计以输出所述场景的融合深度估计，其中所述融合引擎被配置为接收来自所述几何重建引擎的所述第一深度估计的不确定性测量和来自所述神经网络架构的所述第二深度估计的不确定性测量，并且其中所述融合引擎被配置为使用所述不确定性测量来概率地融合所述第一深度估计和所述第二深度估计。

在某些示例中，所述融合引擎被配置为从所述神经网络架构接收表面定向估计和所述表面定向估计的不确定性度量，并被配置为使用所述表面定向估计和所述表面定向估计的所述不确定性度量来概率地融合所述第一深度估计和所述第二估计。

在某些示例中，所述表面定向估计包括以下各者中的一个或多个：在第一方向上的深度梯度估计；与所述第一方向正交的方向上的深度梯度估计；和表面法线估计。

在某些示例中，所述融合引擎被配置为当概率地融合所述第一深度估计和所述第二估计时确定比例估计。