[发明专利]基于惯性测量单元和点线特征的单目相机位姿测量方法

说明书

本发明主要是基于惯性测量单元和摄像测量技术，利用平面场景中的点线特征测量出单目相机的相对位姿。测量系统由惯性测量单元与相机构成，其中惯性测量单元用于实时为单目相机提供俯仰角和滚转角，相机则根据点线特征估计偏航角和平移向量。本发明首先利用惯性测量单元输出的角度数据，将相机坐标系校正到正下视，然后对图像中的点线特征进行匹配，进而求解出相机的相对位姿。本发明充分利用了场景中的视觉信息，将直线特征应用到单目相机的位姿估计上，适用于自主导航、自动驾驶和增强现实等领域，具有重要的理论研究意义和广泛的应用前景。

技术领域

本申请涉及摄像测量技术领域，特别是涉及一种惯性测量单元和点线特征结合的单目相机位姿测量方法。

背景技术

视觉定位技术是近些年迅速发展起来的一种新型技术，其在导航定位中的应用也越来越受到人们的重视。尽管现有的视觉导航定位算法有很多，但是在搬运型机器人、智能叉车等一些特殊背景下，高精度确定相对位姿仍然面临着一定的挑战。利用点特征求解单目相机位姿是现在普遍采用的方法，但在纹理不明显、角点少的场景下，仅依靠点特征则难以得到理想的结果。因此除点特征外，研究如何结合线特征求解位姿是一个重要的研究方向。现有的基于线特征的位姿估计主要是应用在双目或多目视觉中，在单目中运用较少。

发明内容

基于此，有必要针对目前单目相机难以在场景纹理特征少的情况下进行位姿测量的问题，提供一种惯性测量单元和点线特征结合的单目相机位姿测量方法、装置、计算机设备和存储介质。

一种惯性测量单元和点线特征结合的单目相机位姿测量方法，所述方法包括：

利用惯性测量单元测量的滚转角和俯仰角信息得到校正矩阵，可将图像校正为正下视图像，即校正后相机坐标系的Z轴方向与重力方向一致；

获取第一帧图像和第二帧图像中表示同一参考点的第一特征点和第二特征点，以及获取第一帧图像和所述第二帧图像中表示同一参考线的第一特征线和第二特征线；

根据视觉算法中点线特征的单应性约束，得到所述第一特征点和所述第二特征点的第一约束方程以及得到所述第一特征线和所述第二特征线的第二约束方程；

根据所述第一约束方程和第二约束方程，得到单应性矩阵，将单应性矩阵进一步分解，得到校正后图像对之间的相对位姿关系；

根据所述校正后图像对之间的相对位姿关系，转化得到相机坐标系校正前的单目相机位姿测量结果。

在其中一个实施例中，要提前标定好相机坐标系与惯性测量单元坐标系之间的旋转矩阵。根据所述惯性测量单元相对相机的旋转矩阵，以及惯性测量单元输出的俯仰角和滚动角对应的旋转矩阵，可得到校正矩阵。相机坐标系校正后，可以有效减少位姿估计问题的自由度，可以将相机之间6自由度的运动减少到3自由度，即包括一个1自由度的旋转角度和一个2自由度的平移向量。

在其中一个实施例中，还包括：利用ORB算法可以实时的检测出图像中的点特征，并能根据ORB关键点和描述子信息快速完成点特征的匹配，最终获得匹配好的第一特征点和第二特征点。

在其中一个实施例中，还包括：根据LSD算法检测到的直线以及直线邻域的点特征，可以构建直线邻域的特征数，进而可求得两条直线的相似度。对任意2帧图像，都可以构建出一个相似度矩阵，矩阵中相似度最大的两条直线即为最终的直线匹配结果，最终获得匹配好的第一特征线和第二特征线。

在其中一个实施例中，还包括：根据所述第一特征点与所述第二特征点的匹配关系，建立所述第一特征点和所述第二特征点的第一约束方程；根据所述第一特征线和所述第二特征线的匹配关系，建立所述第一特征线和所述第二特征线的第二约束方程。

在其中一个实施例中，还包括：将所述第一约束方程和所述第二约束方程联合，即得到基于点线结合特征的位姿测量方程；通过解方程和进一步的转化，可得到单目相机位姿测量结果。