[发明专利]相机位姿估计方法、系统、设备及存储介质

说明书

本发明提供一种相机位姿估计方法，包括如下步骤：通过相机观测选取的模板图像获取观测图像；分别提取模板图像和观测图像中的点特征和直线特征；对模板图像和观测图像中的点特征和直线特征进行特征匹配；将模板图像中的二维点和直线转换到三维空间，得到模板图像的三维点特征和三维直线特征，并与观测图像中的点特征和直线特征形成3D‑2D的点匹配对和直线匹配对；通过3D‑2D的点匹配对和直线匹配对计算得到相机位姿。本发明的相机位姿估计方法直接使用直线匹配构建约束,而不是转换成点匹配,这样没有直线平行的限制,而且只有一条直线也能用来和点特征一起估计，融合点特征和直线特征,提高PnP位置估计的精度。

技术领域

本发明涉及定位追踪领域，尤其涉及相机位姿估计方法。

背景技术

相机位姿估计是计算机视觉中的经典问题，它是已知三维空间中一些3D坐标点以及它们在相机图像上的2D投影坐标，来估算相机在三维空间中的位置和姿态。相机位姿估计其中一个最为常见的应用是相机标定中外参标定，外参标定通过相机拍摄棋盘格的图像，标定出相机的内参(焦距，光心，畸变系数)后，估计每张图像的相机相对于棋盘格的三维位置和三维姿态。

相机位姿估计中最为常用的方法是PnP(Perspective n Points)及其一系列改进算法，该方法先根据特征匹配将三维空间的3D坐标点与图像中的2D特征点进行关联，然后根据相机模型：

对每对2D-3D点匹配对构建约束，(x，y，z)是3D坐标，(u，v)是2D坐标，f_x，f_y是焦距，c_y，c_y是相机光心，r_0-8和t_0-2是需要待求的相机外参，分别是旋转矩阵R和平移向量t。通过3组以上的2D-3D点构建约束方程，通过线性方程求解，可以求出R和t。

对一些规则的图案(如矩形)，特征点比较少，但有很多线段特征，单纯依赖特征点，可能效果不好，但如果用到直线信息，匹配效果会大幅增加，即将PnP算法改进成PnPL(Pespective n Points and Lines)。现在也有一些PnPL的方法，不过是将直线匹配转换成点匹配(假设两条三维直线与两条图像上的二维直线对应，那么可以转换成这两条直线在三维空间的交点和二维图像空间的交点对应)，最终还是通过PnP来求解。

常规的PnP算法依赖与特征点匹配，当特征点比较少的时候，位姿估计的精度不高。

现有的PnPL算法将直线匹配转换成点匹配，要求至少两条直线，而且直线要相交，当直线接近平行时，交点的误差会很大。

发明内容

为解决上述问题，本发明提供一种相机位姿估计方法、系统、设备及存储介质，直接使用直线匹配构建约束,而不是转换成点匹配,这样没有直线平行的限制,而且只有一条直线也能用来和点特征一起估计，融合点特征和直线特征,提高PnP位置估计的精度。

本发明提供一种相机位姿估计方法，包括以下步骤：通过相机观测选取的模板图像获取观测图像；提取模板图像和观测图像中的点特征，对模板图像和观测图像中的点特征进行特征匹配；提取模板图像和观测图像中的直线特征，对模板图像和观测图像中的直线特征进行特征匹配；将模板图像中的点特征和直线特征转换到三维空间，得到模板图像的三维点特征和三维直线特征，并与观测图像中的点特征和直线特征形成3D-2D的点匹配对和直线匹配对；根据3D-2D的点匹配对和直线匹配对计算得到相机位姿。

优选地，通过3D-2D的点匹配对和直线匹配对得到相机位姿之后，还包括利用点特征和直线特征的重投影误差构建目标函数，得到最优估计的相机位姿；其中，点特征的重投影误差为三维点特征投影到观测图像上与观测图像中的点之间的欧式距离，直线特征的重投影误差为三维直线投影到观测图像上与观测图像中的观测直线之间的距离。

优选地，利用最小二乘法构建目标函数