[发明专利]生成式对抗网络中的同时定位和建图约束

权利要求书

1.一种方法，其包括：

接收形成图像序列的多个图像；

确定所述图像序列的两个连续图像的姿态矢量数据；

向生成式对抗网络(GAN)提供所述图像序列和所述姿态矢量数据，其中使用时间约束来训练所述GAN以生成所述图像序列的每个图像的深度图；以及

基于从所述GAN接收的深度图来生成重建图像。

2.如权利要求1所述的方法，其中所述多个图像中的每个图像是单目图像，并且其中所述重建图像是单目图像，并且进一步其中从单目相机接收所述多个图像，并且其中确定所述姿态矢量数据包括使用视觉同时定位和绘图来递增地计算所述单目相机的环境图。

3.如权利要求2所述的方法，其中所述单目相机附接到移动设备，并且其中所述多个图像中的每个图像被捕获在所述单目相机的唯一位置处。

4.如权利要求1所述的方法，其还包括计算损失信号，所述损失信号被配置为提供用于训练所述GAN的附加时间约束，其中计算所述损失信号包括：

从所述GAN接收与所述图像序列的所述两个连续图像相对应的两个连续深度图；

使用视觉同时定位和绘图来确定所述两个连续深度图的深度姿态矢量数据；以及

计算所述深度姿态矢量数据与所述姿态矢量数据之间的视差，其中所述视差提供所述损失信号。

5.如权利要求4所述的方法，其还包括向所述GAN提供所述损失信号以提供几何姿态约束以供所述GAN使用来促进所述GAN在生成所述深度图时的一致性。

6.如权利要求1所述的方法，其还包括确定用于训练所述GAN的时间约束，其中确定所述时间约束包括：

接收形成立体图像序列的多个立体图像，其中所述立体图像序列的每个图像包括具有右图像和左图像的图像对；

基于所述图像对的所述右图像和所述左图像来计算立体姿态矢量数据；

基于所述立体姿态矢量数据和所述图像对的所述左图像从所述GAN接收生成的深度图；

基于所述生成的深度图和所述图像对的所述左图像来计算重建右图像；以及

计算所述图像对的所述右图像与所述重建右图像之间的视差，其中所述视差提供用于训练所述GAN的所述时间约束。

7.如权利要求6所述的方法，其还包括确定用于训练所述GAN的附加时间约束，其中确定所述附加时间约束包括：

基于所述图像对的所述左图像和所述重建右图像来确定重建的立体姿态矢量数据；以及

计算所述姿态矢量数据与所述重建的立体姿态矢量数据之间的姿态视差，其中所述姿态视差提供用于训练所述GAN的所述附加时间约束。

8.如权利要求6所述的方法，其中以下一项或多项：

使用立体视觉测距法来计算所述立体姿态矢量数据和所述重建的立体姿态矢量数据；

所述图像序列包括六个图像，并且所述姿态矢量数据包括所述六个图像中的每个图像的六自由度姿态信息，其中所述六自由度姿态信息指示当捕获每个图像时单目相机的相对姿态；

所述GAN被配置为一次基于单个图像生成单个深度图，并且其中所述时间约束使用立体视觉测距法获得并且训练所述GAN以强制执行由所述GAN生成的多个深度图的质量的时间连续性；或者

从附接到车辆的单目相机接收所述多个图像，并且其中所述GAN与车辆控制器通信。

9.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

接收形成图像序列的多个图像；

确定所述图像序列的两个连续图像的姿态矢量数据；

向生成式对抗网络(GAN)提供所述图像序列和所述姿态矢量数据，其中使用时间约束来训练所述GAN以生成所述图像序列的每个图像的深度图；以及

基于从所述GAN接收的深度图生成重建图像。