[发明专利]用于虚拟增强视觉同时定位和地图构建的系统和方法

权利要求书

1.一种用于从场景的图像集合重构所述场景的三维3D模型的方法，所述图像集合是由至少一个传感器在限定所述图像的视点的不同姿势下获取的，其中，所述图像集合包括在限定第一视点的第一姿势下获取的所述场景的第一图像，并且包括在限定第二视点的第二姿势下获取的所述场景的第二图像，其中，所述3D模型包括具有通过3D坐标标识的点的点云，其中，所述方法的步骤由处理器执行，所述处理器连接到存储所述图像集合的存储器，并且与所存储的实现所述方法的指令耦合，其中，所述指令在被所述处理器执行时实现所述方法的至少一些步骤，包括：

对所述图像集合中的图像进行变换以生成从不同于所述图像的视点的虚拟视点看到的所述场景的虚拟图像集合，其中，对第一图像进行变换以产生与不同于第一视点的虚拟视点相对应的虚拟图像，其中，所述变换保留第一图像和所述虚拟图像的至少一些像素之间的对应以表示所述场景的相同的点；

比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点，其中，将第二图像的至少一些特征与所述虚拟图像的至少一些特征进行比较以确定第二图像和所述虚拟图像的至少一些像素之间的对应；

通过使用第一图像和所述虚拟图像的至少一些像素之间的对应以及第二图像和所述虚拟图像的至少一些像素之间的对应，确定第一图像和第二图像的至少一些像素之间的对应；

通过使用来自第一图像和第二图像的对应的像素的子集，基于来自第二图像的像素的所述子集的坐标和与来自第一图像的像素的所述子集相对应的所述场景的点的坐标，确定相对于第一图像的第一视点的第二图像的第二视点；以及

根据至少两个图像的视点，更新所述场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配。

2.根据权利要求1所述的方法，其中，所述方法包括：

使用第一图像和第二图像中的对应的像素的捆绑调整来更新所述场景的模型中的点的3D坐标。

3.根据权利要求2所述的方法，其中，所述第一图像是由3D传感器获取的，所述方法进一步包括：

使用所述3D传感器来确定与来自第一图像的像素的所述子集相对应的所述场景的点的坐标。

4.根据权利要求2所述的方法，进一步包括：

使用预定义的初始距离来确定与来自第一图像的像素的所述子集相对应的所述场景的点的坐标。

5.根据权利要求2所述的方法，其中，所述虚拟视点具有与第一视点相同的位置，但是具有与第一视点不同的朝向，所述方法进一步包括：

使用从所述虚拟视点和第一视点之间的朝向的差和相机固有矩阵确定的单应性矩阵，将第一图像中的每一个像素变形，从而产生虚拟图像。

6.根据权利要求2所述的方法，其中，所述图像集合包括在限定第三视点的第三姿势下获取的所述场景的第三图像，所述方法进一步包括：

比较第一图像和第三图像的特征以确定第一图像和第三图像的与所述场景中的相同的点相对应的像素；以及

使用相对姿势估计来确定与来自第一图像的像素的所述子集相对应的所述场景的点的坐标。

7.一种用于从场景的图像集合重构所述场景的三维3D模型的方法，所述图像集合是由至少一个传感器在限定所述图像的视点的不同姿势下获取的，其中，所述3D模型包括具有通过3D坐标标识的点的点云，其中，所述方法的步骤由处理器执行，所述处理器连接到存储所述图像集合的存储器，并且与所存储的实现所述方法的指令耦合，其中，所述指令在被所述处理器执行时实现所述方法的至少一些步骤，包括：

对所述图像集合中的图像进行变换以生成从不同于所述图像的视点的虚拟视点看到的所述场景的虚拟图像集合；

比较来自所述图像和所述虚拟图像的至少一些特征以确定所述图像集合中的每个图像的视点；

根据至少两个图像的视点，更新所述场景的模型中的至少一个点的3D坐标，以与从与所述点相对应的所述两个图像的像素的光线反向投影的交点的坐标匹配；

对六自由度6-DOF传感器姿势空间进行采样以生成被采样视点集合；以及

针对所述被采样视点集合产生虚拟图像。