[发明专利]用于虚拟增强视觉同时定位和地图构建的系统和方法

说明书

一种用于重构场景的三维(3D)模型的系统，所述3D模型包括具有通过3D坐标标识的点的点云，所述系统包括(一个或多个)传感器和存储器，所述传感器在限定图像的视点的不同姿势下获取场景的图像集合，所述存储器存储所述图像和3D模型。所述系统还包括处理器，所述处理器操作地连接到存储器，并且与所存储的指令耦合，以执行以下步骤：对所述图像集合中的图像进行变换以生成从虚拟视点看到的场景的虚拟图像集合；比较来自所述图像和虚拟图像的一些特征以确定图像集合中的每个图像的视点；以及根据至少两个图像的视点，更新模型中的(一个或多个)点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。

技术领域

本发明总体上涉及重构场景的模型，更具体地涉及同时定位和地图构建(SLAM)。

背景技术

在机器人地图构建中，同时定位和地图构建(SLAM)是构造或更新未知环境的地图和/或模型、同时追踪代理在该环境内的地点的计算问题。虽然SLAM涉及地图的建造(地图构建)和地图的使用(定位)，但是对于执行SLAM的系统，与定位相关联的处理和与地图构建相关联的处理实际上不需要同时执行。例如，过程可以以复用的方式执行。

在一些应用中，例如，在城市或在室内环境中，GPS或另一位置估计系统对于SLAM是不可用的、不实用的或者精度不足。为此，一些系统除了使用专门的位置估计系统之外或者替代使用专门的位置估计系统，依赖于其他的使用被命名为视觉SLAM的一类技术的视线传感器(比如相机)。视觉SLAM(VSLAM)使用视觉传感器数据或图像作为输入来建造环境的模型，例如，表示环境的点云。例如，VSLAM使用视线传感器来获取周围环境的图像并将多个这样的图像配准到一致的坐标系(例如，全局坐标系)中以形成描述周围环境的几何形状和外观这二者的模型。

VSLAM使用传感器捕捉的图像来估计该坐标系内部的传感器的六个自由度(DOF)姿势(地点和朝向)。为此，VSLAM依赖于找到在不同图像中观察到的同一物理区域的对应的能力。然而，VSLAM有长基线匹配问题，即，从两个遥远的视图观察到的区域在这样的匹配处理期间可能频繁错过，因为从不同视点看到的同一区域的外观可能显著变化。

一些方法通过将VSLAM技术与单独的姿势估计方法组合来解决该问题。例如，专利文献1中所描述的方法使用运动传感器来估计携带相机的机器人的姿势。运动传感器的使用尽管是有用的，但是不总是可取的。

另一方法通过拍摄多个图像以确保图像之间的姿势变化小，来连续地跟踪传感器的姿势，参见例如专利文献2。然而，该方法在计算和存储器上是昂贵的，并且可能需要传感器跟随环境内的费力的且复杂的轨迹以便构造其3D模型。

[引文列表]

[专利文献]

[PTL 1]

U.S.7,162,338

[PTL 2]

U.S.20140126769

发明内容

因此，需要适合于用数量减少的用于跟踪传感器的姿势的图像来构造场景的3D模型的VSLAM。如果给定相同数量的图像，则这样的VSLAM应实现更高的3D重构和姿势估计准确度、以及更多数量的重构的3D点。

一些实施例的目的是公开一种用于视觉同时定位和地图构建(SLAM)的方法，该方法使用图像作为视觉传感器数据输入以用于重构场景的三维(3D)模型。一些实施例的另一个目的是提供适合于用数量减少的用于跟踪传感器的姿势的图像来重构场景的3D模型的视觉SLAM(VSLAM)。