[发明专利]自监督深度估测方法和系统

说明书

由于越来越多地使用深层神经网络用于生成密集深度图，因此深度感知在图像社区中已经变得越来越受关注。然而，由于需要大量密集地面实况深度用于训练，因此深度感知估测的应用仍然可被限制。所设想的是，可开发自监督控制策略，用于使用由传感器系统提供的彩色图像和数据（例如，稀疏激光雷达数据）而估测深度图。此类自监督控制策略可利用超像素（即，共享共同特性（例如，像素强度）的像素群组）作为局部平面区域，以根据估测深度和光度损失而规则化表面法线导数。控制策略可为可操作的，以产生不要求密集地面实况监督的密集深度图。

技术领域

以下总体上涉及用于生成密集深度图的自监督深度估测系统和方法。

背景技术

类似自主驾驶的应用总体上要求密集和准确的深度图。然而，通常要求高质量和高成本传感器和捕获装置，以生成此类密集和准确的深度图。这些传感器和捕获装置的成本使得密集和准确的深度图使用对于许多应用成本过高。

发明内容

用于自监督深度估测的系统和方法接收环境的数字图像。可从数字图像中提取一个或多个深层超像素分割，并且可划分深层超像素分割，以表示数字图像的均质区。深层超像素分割还可为可操作为约束一个或多个深层超像素分割内的局部法线方向和深度的二阶导数的局部平面区域。最后，可使用一个或多个深层超像素分割而生成密集深度图。

所述系统和方法还可使用深度回归神经网络而导出表面法线图，所述深度回归神经网络从数字图像以及从深度传感器接收的稀疏深度图样本回归全分辨率深度图。深度回归神经网络还可使用具有编码层、解码层和多个跳跃连接的编码器-解码器结构而设计。编码层可包括一个或多个卷积层、一个或多个ReLU层、一个或多个残留神经网络(ResNet)以及一个或多个池化层。而且，解码层可包括一个或多个去卷积层、一个或多个反池化层、一个或多个ResNet层以及一个或多个ReLU层。最终卷积层还可操作，以产生非负灰阶深度图像，用于导出表面法线图。

所述系统和方法可进一步为可操作的，以在四个方向上计算稀疏深度图样本的梯度。稀疏深度图样本可转换成一个或多个3维向量。所述系统和方法可使一个或多个3维向量的一个或多个归一化叉积平均，以确定顶点法线。

所述系统和方法可为可操作的，以使用同时定位与映射系统而确定数字图像与相关图像之间的相对变换。可使用相对变换、数字图像和相关图像而确定光度损失。所述系统和方法还可为可操作的，以通过最小化一个或多个深层超像素分割内的深度二阶导数而平滑和抑制密集深度图内的不一致。所述系统和方法可确定使用估测深度而导出局部法线方向。所述系统和方法可使一个或多个超像素分割内的边界和边缘求反。最后，所述系统和方法可在一个或多个深层超像素分割中的每个内应用法线方向的一致性。

附图说明

图1绘示了示例性计算系统。

图2示出了示例性自监督深度估测网络。

图3A和图3B示出了可由深度回归网络实施的编码器-解码器结构。

图4示出了控制至少部分自主机器人的计算系统。

具体实施方式

根据要求，本文公开了详细实施例；然而，应理解的是，所公开实施例仅是示例的，并且可以各种和可选形式实施。附图不一定是按比例的；一些特征可被放大或最小化，以显示特定部件的细节。因此，本文公开的具体结构和功能细节将不被解释为限制性的，而是仅作为用于教导本领域技术人员以各种方式采用本实施例的代表性基础。

深度感知总体上被理解为视觉能力，以按三个维度(3D)感知世界和对象的距离。可从各种深度图像和提示确定深度感知。例如，深度感知可包括双目图像（其可基于按三个维度接收感测信息）以及单目图像（其包括仅按两个维度表示的图像）。