[发明专利]深度估计

权利要求书

1.一种估计场景的深度的图像处理系统，其包括：

融合引擎，其用于接收来自几何重建引擎的第一深度估计和来自神经网络架构的第二深度估计，并用于概率地融合所述第一深度估计和所述第二深度估计以输出所述场景的融合深度估计，

其中所述融合引擎被配置为接收来自所述几何重建引擎的所述第一深度估计的不确定性测量和来自所述神经网络架构的所述第二深度估计的不确定性测量，并且

其中所述融合引擎被配置为使用所述不确定性测量来概率地融合所述第一深度估计和所述第二深度估计。

2.如权利要求1所述的系统，其中所述融合引擎被配置为从所述神经网络架构接收表面定向估计和所述表面定向估计的不确定性度量，并被配置为使用所述表面定向估计和所述表面定向估计的所述不确定性度量来概率地融合所述第一深度估计和所述第二深度估计。

3.如权利要求2所述的系统，其中所述表面定向估计包括以下各者中的一个或多个：

第一方向上的深度梯度估计；

与所述第一方向正交的方向上的深度梯度估计；和

表面法线估计。

4.如权利要求1至3中任一项所述的系统，其中所述融合引擎被配置为当概率地融合所述第一深度估计和所述第二深度估计时确定比例估计。

5.如权利要求1至4中任一项所述的系统，

其中在第一视频数据帧中捕获所述场景，

其中针对所述第一视频数据帧接收所述第二深度估计，

其中所述第一深度估计包括用于所述第一视频数据帧的多个第一深度估计，所述多个第一深度估计中的至少一个是使用与所述第一视频数据帧不同的第二视频数据帧生成的，并且

其中所述融合引擎被配置为迭代地输出所述场景的所述融合深度估计，在每次迭代时处理所述第二深度估计并处理所述多个深度估计之一。

6.如权利要求1至5中任一项所述的系统，其中所述第一深度估计、所述第二深度估计和所述融合深度估计均包括多个像素的深度图。

7.如权利要求1至6中任一项所述的系统，其中所述第一深度估计为半密集深度估计，以及所述第二深度估计和所述融合深度估计均包括密集深度估计。

8.如权利要求1至7中任一项所述的系统，其包括：

单目相机，其用于捕获视频数据帧；

跟踪系统，用于确定所述单目相机在观察所述场景期间的姿态；和

所述几何重建引擎，

其中所述几何重建引擎被配置为使用来自所述跟踪系统的所述姿态和所述视频数据帧来为来自所述视频数据帧的像素的至少子集生成深度估计，所述几何重建引擎被配置为使光度误差最小化以生成所述深度估计。

9.如权利要求1至8中任一项所述的系统，其包括：

所述神经网络架构，

其中所述神经网络架构包括一个或多个神经网络并且被配置为接收视频数据帧的像素值并预测：

第一组图像部分中的每一个的深度估计以生成所述第二深度估计；

第二组图像部分中的每一个的至少一个表面定向估计；

与每个深度估计相关联的一个或多个不确定性度量；和

与每个表面定向估计相关联的一个或多个不确定性度量。

10.一种估计场景的深度的方法，其包括

使用所述场景的几何重建生成所述场景的第一深度估计，其中所述几何重建被配置为输出所述第一深度估计的不确定性度量；

使用神经网络架构生成所述场景的第二深度估计，其中所述神经网络架构被配置为输出所述第二深度估计的不确定性度量；以及

使用所述不确定性度量来概率地融合所述第一深度估计和所述第二深度估计，以生成所述场景的融合深度估计。