[发明专利]无监督深度预测神经网络

说明书

描述了一种用于生成图像的深度输出的系统。该系统接收描绘相同场景的输入图像，每个输入图像包括一个或多个潜在对象。该系统为每个输入图像生成相应的背景图像，并对背景图像进行处理以生成表征在输入图像之间的相机的运动的相机运动输出。对于每个潜在对象，系统基于输入图像和相机运动输出生成潜在对象的相应的对象运动输出。该系统使用深度预测神经网络(NN)处理输入图像的特定输入图像以生成特定输入图像的深度输出，并基于特定深度输出、相机运动输出、以及潜在对象的对象运动输出来更新深度预测NN的参数的当前值。

相关申请的交叉引用

本申请要求于2018年9月5日提交的美国临时申请序列号62/727,502的优先权。在先申请的公开内容被视为本申请的公开内容的一部分，并且通过引用并入本申请的公开内容中。

背景技术

本说明书涉及使用神经网络处理图像。

机器学习模型接收输入，并基于接收到的输入生成输出，例如，预测输出。一些机器学习模型是参数模型，并且基于接收到的输入并且基于该模型的参数的值生成输出。

一些机器学习模型是深度模型，其采用多层模型来为接收到的输入生成输出。例如，深度神经网络是一种深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层将非线性变换应用于接收到的输入以生成输出。

发明内容

本说明书描述一种作为计算机程序实现在一个或多个位所中的一个或多个计算机上的神经网络系统，该神经网络系统包括相机运动估计神经网络、对象运动估计神经网络和深度预测神经网络。

能够实现本说明书中描述的主题的特定实施例以便实现以下优点中的一个或多个。本说明书中描述的主题通常涉及无监督学习技术，这些无监督学习技术允许神经网络系统比常规方法更准确地且更高效地直接从单眼视频预测深度和自我运动。虽然对于许多基于测程法的任务，即，需要使用来自运动传感器的数据来估计随着时间的位置变化的任务(例如，动态场景中的机器人导航)，针对移动对象的精确的深度预测和精确的自我运动估计是至关重要的，但是在先工作主要集中于相机自我运动，从而留下对象运动未解决。相比之下，所描述的技术与相机自我运动一起在3D中显式地对个别对象的运动进行建模，从而产生更精确的深度和自我运动估计结果。

此外，采用监督学习方法的在先工作需要昂贵的深度传感器，其在大多数机器人场景中可能不容易获得并可能引入其自己的传感器噪声。相比之下，本文描述的主题解决场景深度、相机运动和目标运动的无监督学习，其中监督通过由相机—用于机器人的最便宜、限制最小且最普及的传感器拍摄的单眼视频来提供。附加监督或传感器不是必需的。这确保可容易地获得用于训练深度、对象运动和相机运动神经网络的训练数据，即，因为能够在机器人代理的正常操作的过程中容易地收集大量未标记的单眼视频。因此，本文描述的技术在大多数机器人场景中可适用。

此外，本文描述的技术显式地对如输入图像中描绘的场景中的个别移动对象的3D运动以及相机自我运动进行建模。通过将输入图像的局部结构引入到学习过程中，这些技术使得神经网络系统能够通过利用对多个帧进行在线细化(也称为“在线融合”)来学习而适应新环境。在在线融合模式期间，神经网络系统能够一起执行训练和推理。也就是说，神经网络系统能够运行一个或多个优化步骤以更新神经网络的参数的当前值，如同它在计算期望输出之前或之后处于训练模式下一样。在线融合允许这些神经网络了解未知环境的飞行深度和自我运动。例如，通过将在城市场景中为机器人导航收集的数据上训练的模型转移到室内导航设定，这使得能够跨环境转移学习。

本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1示出示例神经网络系统的架构。

图2是用于构造损失函数以联合训练相机运动估计神经网络、对象运动估计神经网络和深度预测神经网络的示例过程的流程图。