[发明专利]一种同时定位与建图的方法及装置

说明书

一种同时定位与建图的方法，通过双目大视场相机获取左视场图像和右视场图像；基于第一多虚拟针孔相机模型，得到左视场图像对应的左去畸变图像；基于第二多虚拟针孔相机模型，得到右视场图像对应的右去畸变图像；基于左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。

技术领域

本发明涉及同时定位与建图领域，尤其涉及一种基于双目鱼眼相机的同时定位与建图方法以及装置。

背景技术

同时定位与建图(Simultaneous Localization And Mapping，简称SLAM)是一种通过实时跟踪机器人运动并在此过程中同时建立周围环境地图以达到定位导航等目标的技术。

传统的单目SLAM使用的相机为透视相机(perspective camera)或者称为针孔相机(pinhole camera)。由于相机的视角(Field-of-View)有限，所获取的图像间存在的共有特征不足，可能导致SLAM算法跟踪丢失。相对于传统SLAM使用的针孔相机，大视场相机具有更大的视角，因而得到了广泛的研究和关注。

现有的基于大视场图像的SLAM技术方案主要有两种。

一种是先对大视场相机获得的大视场图像使用传统的去畸变方法进行去畸变处理，再把去畸变后的图像作为普通图像使用传统单目SLAM技术实现同时定位与建图。这种技术方案简单易行，但是传统的去畸变方法将导致损失很多的视角，不能充分利用大视场相机的广视角。

另一种是基于大视场相机成像模型直接针对未做畸变校正的大视场图像进行SLAM处理。即直接在未做畸变校正的大视场图像上提取特征进行处理。这种技术方案提取的特征可能会受到图像畸变的影响，同时复杂的大视场相机成像模型将导致优化变得异常复杂，从而影响系统的性能。

因此，迫切需要一种新的SLAM技术，能够保留大视场相机的所有视野同时避免图像畸变的影响，同时又能兼顾对景深的探测、定位、建图。

发明内容

本申请的目的在于提供一种同时定位与建图的方法。该方法可以，基于多虚拟针孔相机模型，将双目鱼眼相机获取的左鱼眼图像和右鱼眼图像去畸变；根据去畸变后的图像进行同时定位和建图。

本申请一方面提供一种同时定位与建图的方法。所述方法包括：

在一些实施例中介绍了一种同时定位与建图的方法。通过双目大视场相机获取左视场图像和右视场图像；基于第一多虚拟针孔相机模型，得到所述左视场图像对应的左去畸变图像；基于第二多虚拟针孔相机模型，得到所述右视场图像对应的右去畸变图像；基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图；其中，所述第一多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的左侧相机的相机中心重合；所述第二多虚拟针孔相机模型包括至少两个不同朝向的虚拟针孔相机，且所述至少两个不同朝向的虚拟针孔相机的相机中心与所述双目大视场相机的右侧相机的相机中心重合。

在一些实施例中，所述方法进一步包括：使所述双目大视场相机的左侧相机和右侧相机的光轴平行。

在一些实施例中，所述的同时定位与建图的方法，还包括基于所述左去畸变图像和所述右去畸变图像，确定所述双目大视场相机的位姿并构建地图，包括：确定所述左去畸变图像和所述右去畸变图像互相匹配的特征点；基于所述互相匹配的特征点构建地图。