[发明专利]一种基于鲁棒特征跟踪的视觉定位方法

摘要

本发明公开了一种基于图像处理及机器视觉的鲁棒特征跟踪与立体视觉定位技术。该技术可以在相机晃动以及室外光照条件下，融合惯性信息和视觉信息，实现可靠的立体视觉定位。通过双目摄像机实时采集图像，同时利用惯性测量单元采集相机旋转信息。利用特征提取算法提取图像中的特征点，并对左右图像中的特征点进行立体匹配。结合惯性信息，通过惯性融合KLT算法跟踪特征点，提高特征跟踪可靠性。利用双视几何原理恢复特征点的三维信息。使用高斯牛顿迭代的方法由特征点位置信息求得相机运动参数。使用RANSIC算法进一步提高视觉定位准确度。整个过程不断迭代，实现相机姿态和位置的实时计算。

主权项

一种基于鲁棒特征跟踪的视觉定位方法，其特征在于，包括以下步骤：步骤一：对双目摄像机进行标定。步骤二：将相机与惯性测量单元固连，标定相机坐标系与惯性测量单元坐标系之间的旋转变换矩阵。步骤三：开启相机，进行左右图像与相机旋转信息的同步采集。步骤四：如果当前图像是第一帧或当前特征点总数小于设定阈值,用sobel算子提取图像中的兴趣点，并用SIFT描述符对兴趣点进行描述,在左右图像之间进行立体匹配，得到特征点匹配对。如果读入的图像不是第一帧，则根据相机旋转变化量计算出特征点在当前帧中的初始预测位置，使用惯性融合KLT算法对特征点进行跟踪，得出特征点在当前帧中的准确位置。步骤五：通过双目立体视觉原理计算特征点对应的三维坐标位置。步骤六：使用RANSIC算法进行迭代计算，每次迭代时利用求得的旋转矩阵R和平移矩阵T计算满足该变换的特征点数目，求取包含局内点最多的一组结果，并利用该组中所有局内点求解出精确的R和T。步骤七：将步骤六求得的结果进行累乘，得到相机在当前时刻相对于初始时刻的位姿变换矩阵。