[发明专利]用于使用一组基元配准数据的方法

说明书

一种使用包括点和平面的一组基元来配准数据的方法。首先，该方法从第一坐标系中的数据选择第一组基元，其中，第一组基元包括至少三个基元和至少一个平面。对从第一坐标系到第二坐标系的变换进行预测。使用该变换将第一组基元变换到第二坐标系。根据变换到第二坐标系的第一组基元来确定第二组基元。然后，使用第一坐标系中的第一组基元和第二坐标系中的第二组基元，将第二坐标系与第一坐标系配准。配准可以用于跟踪获取数据的相机的姿势。

技术领域

本发明总体涉及计算机视觉，并且更特别地，涉及估计相机的姿势。

背景技术

在重建场景的3D结构的同时跟踪相机的姿势的系统和方法被广泛用于增强现实(AR)可视化、机器人导航、场景建模、以及计算机视觉应用。这样的处理通常被称为同时定位与地图构建(SLAM)。实时SLAM系统可以使用获取二维(2D)图像的传统相机、获取三维(3D)点云(一组3D点)的深度相机、或者获取2D图像和3D点云两者的红、绿、蓝和深度(RGB-D)相机(诸如，)。跟踪是指使用相机的预测运动以用于顺序地估计相机的姿势的处理，而重定位是指使用一些基于特征的全局配准(registration)以用于从跟踪失败恢复的处理。

使用2D相机的SLAM系统针对纹理场景通常是成功的，但是针对无纹理区域很可能失败。在迭代最近点(ICP)方法的帮助下，使用深度相机的系统依靠场景中的几何变化(诸如，曲面和深度边界)。然而，当几何变化很小时(诸如，在平面场景中)，基于ICP的系统经常失败。使用RGB-D相机的系统可以利用纹理和几何特征两者，但是它们仍然要求独特的纹理。

很多方法都没有明确解决重建比单人房间大的三维模型时的困难。为了将那些方法扩展到较大的场景，要求较好的存储器管理技术。然而，存储器限制不是唯一的挑战。通常，房间规模的场景包括具有纹理和几何特征的许多对象。为了扩展到较大的场景，需要跟踪具有有限纹理和不充分几何变化的区域(诸如，走廊)中的相机姿势。

相机跟踪

考虑到一些3D对应，使用3D传感器获取3D点云的系统将跟踪问题归纳为配准问题。ICP方法从由相机运动预测给出的初始姿势估计开始，迭代地定位点到点或点到平面对应。ICP已被广泛用于移动机器人中的线扫描3D传感器(也称为扫描匹配)以及用于产生全部3D点云的深度相机和3D传感器。U.S.20120194516以ICP方法将点到平面对应用于相机的姿势跟踪。地图的该表示是一组体元(voxel)。每个体元表示针对到最接近表面点的距离的截断符号距离函数(truncated signed distance function)。该方法不从3D点云提取平面；相反，通过使用局部邻域确定3D点的法线来建立点到平面对应。这样的基于ICP的方法要求场景具有充分几何变化以用于精确配准。

另一种方法从RGB图像提取特征并且执行基于描述符的点匹配，以确定点到点对应并且估计相机姿势，然后利用ICP方法将相机姿势细化。该方法使用场景中的纹理(RGB)和几何(深度)特征。然而，仅使用点特征来处理无纹理区域和具有重复纹理的区域仍然有问题。

使用平面的SLAM

平面特征已被用于许多SLAM系统中。为了确定相机姿势，要求其法线跨越R³的至少三个平面。因此，特别是当视场(FOV)或传感器的范围较小(诸如，在中)时，仅使用平面导致许多退化问题(degeneracy issue)。大FOV线扫描3D传感器和小视场(FOV)深度相机的组合可以利用额外系统成本避免退化。

相关申请中描述的方法使用了点-平面SLAM，点-平面SLAM使用点和平面两者以避免在使用这些基元中的一个基元的方法中常见的失败模式。该系统不使用任何相机运动预测。相反，该系统通过全局地定位点和平面对应，针对所有帧执行重定位。结果，该系统仅能每秒处理约三个帧，并且遇到由于基于描述符的点匹配导致的一些重复纹理的失败。

相关申请中描述的方法还提出了使用点到点和平面到平面对应两者在不同坐标系中配准3D数据。