[发明专利]生成式对抗网络中的同时定位和建图约束

说明书

本公开提供了“生成式对抗网络中用于单目深度估计的同时定位和绘图约束”。本公开涉及用于基于单目图像来确定环境的深度图的系统、方法和装置。一种用于确定深度图的方法包括从单目相机接收形成图像序列的多个图像。所述方法包括确定所述图像序列的两个连续图像的姿态矢量数据，以及向生成式对抗网络(GAN)提供所述图像序列和所述姿态矢量数据，其中使用时间约束来训练所述GAN以生成所述图像序列的每个图像的深度图。所述方法包括基于从所述GAN接收的深度图来生成重建图像。

技术领域

本公开涉及用于深度感知的方法、系统和设备，并且更具体地涉及用于使用单目相机(monocular camera)和生成式对抗网络(generative adversarial network)进行深度感知的方法、系统和设备。

背景技术

深度感知是某些自主系统(包括自主驾驶系统或移动机器人系统)的要求。深度感知是用于执行某些任务(诸如避障、路线规划、建图、定位、行人检测和人机交互)的关键组成部分。传统上，深度感知是由昂贵的主动感测系统(诸如激光雷达(LIDAR)传感器)或被动感测系统(诸如双目视觉或立体相机)来执行的。

深度感知可以集成在汽车(诸如自主车辆和驾驶辅助系统)中。目前正在开发和部署此类系统以提供安全性特征，减少所需的用户输入量，或甚至完全消除用户参与。例如，一些驾驶辅助系统(诸如防撞系统)可以在人类驾驶时监控车辆的驾驶、位置和速度以及其他物体。当系统检测到即将发生碰撞或撞击时，防撞系统可以介入并施加制动、操纵车辆或执行其他避让或安全操纵。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶、导航和/或停驻车辆。然而，由于驾驶所涉及的危险和车辆的成本，自主车辆和驾驶辅助系统安全地操作并且能够在各种不同的驾驶环境中准确地导航道路是极其重要的。

发明内容

可行驶表面或区域的深度感知是允许和改进自主车辆或驾驶员辅助特征的操作的重要方面。例如，车辆必须精确地知道障碍物或可行驶表面所处的位置以便安全地围绕物体导航。然而，当没有深度图或先前的图信息可用时，估计可行驶表面的深度感知是具有挑战性的。

申请人已经开发了使用单目相机和生成式对抗网络(GAN)进行深度感知的系统、方法和装置。本公开涉及能够提供适合于执行任务(诸如避障、路径规划、建图、定位、行人检测和人机交互)的深度感知的此类系统、方法和装置。应明白，传统上，深度感知是由昂贵的主动感测系统(包括LIDAR传感器)或被动感测系统(包括双目视觉或立体相机)来执行的。本公开中提供的系统、方法和装置可以代替昂贵的已知系统，包括利用LIDAR传感器来检测环境深度的那些系统。此外，所公开的此类系统、方法和装置可以提供与由LIDAR系统提供的深度图相比更详细的深度图，可以提供更长的估计深度范围，并且可以实时提供更快速的深度图估计。

另外，已经训练卷积神经网络以生成深度图。在此类系统中，必须使用大量单个图像数据和相应的深度图来训练卷积神经网络。此类系统一直努力在诸如室内环境和室外环境的环境之间进行有效推广。此外，由卷积神经网络生成的深度图是独立的，并且当相机在环境中移动时无法考虑数据的时间一致性。

生成式对抗网络(GAN)已经表明，与常规卷积神经网络相比，通过以对抗方式训练生成式网络和判别网络，可以用较少量的训练数据实现图像到图像的转换，例如分割或标记任务。申请人提出了使用GAN对单个图像进行深度估计的系统、方法和装置。此类系统、方法和装置相对于已知的深度估计系统改进了性能，并且进一步需要较少数量的训练图像。与常规卷积神经网络相反，GAN的使用使得能够在每种环境中、通常在数百个图像中(而不是在卷积神经网络所需的数十万个图像中)收集少量训练数据。此类系统、方法和装置将数据收集的负担减少了一个数量级。