[发明专利]一种混合特征的跟踪方法和装置

说明书

技术领域

本发明涉及计算机视觉技术，尤其涉及一种混合特征的跟踪方法和装置。

背景技术

计算机视觉技术中，摄像机跟踪的稳定性和实时性是最具挑战性的问题。一般来说整个跟踪系统可以分为匹配式和跟踪式两类。匹配式的跟踪流程包括：特征点提取、特征点匹配以及摄像机姿态计算三个部分；跟踪式的的跟踪流程则包括：特征点提取、特征点跟踪及摄像机姿态计算三部分。

匹配式方案中David Lowe于2004年提出的尺度不变特征变换(SIFT)算法为典型代表。SIFT算法要求首先拍摄一幅图像作为关键帧，利用DoG算法从关键帧上提取一定数量的特征点，然后以Lowe提出的一种制作描述符的方法(称为SIFT描述符)为每个特征点都制作描述符，同时保存这些特征点以及对应的描述符在后续的匹配中使用。当摄像机运动后采集到当前帧图像，在当前帧图像上利用DoG算法提取特征点，同样计算SIFT描述符。随后将这些特征点的描述符与保存的关键帧的特征点描述符进行比较，完成匹配工作。匹配完成后利用随机抽样一致性(RANSAC，RANdom SAmple Consensus)方法剔除误匹配的特征点，利用剩下的正确匹配的特征点计算单应矩阵，从而恢复摄像机姿态。

跟踪式方案以基于光流计算的KLT(Kanade-Lucas-Tomasi Feature Tracker)跟踪算法为代表。首先，与匹配式方案相同，需要拍摄一幅图像作为关键帧，并从关键帧上提取一定数量的特征点，但不需要建立特征点的描述符。当摄像机运动后采集到当前帧图像，KLT跟踪算法计算关键帧上的特征点在当前帧图像上的位置。随后利用RANSAC方法剔除计算失败的点。利用特征点在关键帧和当前帧的坐标计算单应矩阵，恢复摄像机三维姿态，同时保存当前帧图像上特征点的位置，作为下一帧图像的输入。

上述SIFT算法能够得到稳定的匹配点，然而运行效率较低，难以在实时系统中应用，而KLT跟踪算法虽然能够快速运算，但是稳定性不能保证，特别是在跟踪丢失时，无法自动找回特征点，在自然场景中无法保证跟踪的稳定性。

发明内容

有鉴于此，本发明的主要目的在于提供一种混合特征的跟踪方法和装置，在保持跟踪稳定性的同时，显著提高跟踪的效率。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供的一种混合特征的跟踪方法，该跟踪方法包括：

根据SIFT算法对关键帧图像进行特征点提取并保存；

KLT跟踪算法线程根据KLT跟踪算法对关键帧图像的特征点进行跟踪，获得当前帧图像的特征点，在计算单应矩阵成功后，检测当前帧图像的特征点数量是否足够用于下一次跟踪，当特征点数量不足时，通知SIFT算法线程；

SIFT算法线程根据KLT跟踪算法线程的通知进行特征点提取和匹配，并将匹配后的特征点返回给KLT跟踪算法线程；

KLT跟踪算法线程将收到的SIFT算法线程返回的特征点融入到自身保留的正在进行跟踪的特征点内进行跟踪。

上述方案中，所述通知SIFT算法线程为：将单应矩阵通过全局变量传递给SIFT算法线程，并通过修改预先设置的SIFT算法线程的启动标志位，通知SIFT算法线程进行特征点提取和匹配。

上述方案中，该方法进一步包括：在获得当前帧图像的特征点之后，所述当前帧图像的特征点与保存的关键帧图像的特征点为匹配点对，采用改进的误匹配点剔除方法去除所述当前帧图像的特征点中误匹配的特征点；

所述改进的误匹配点剔除方法为：将随机选择匹配点替换为根据匹配点对的匹配分数由高到低选择匹配点对的传统RANSAC方法。

上述方案中，所述检测当前帧图像的特征点数量是否足够用于下一次跟踪为：检测当前帧图像的特征点数量是否小于设置的阈值，所述阈值是根据下一次计算单应矩阵时所需的最少特征点个数进行设置的。

上述方案中，该方法进一步包括：所述KLT跟踪算法线程对当前帧图像的特征点进行卡尔曼滤波。

上述方案中，该方法进一步包括：在单应矩阵计算失败时，将单应矩阵置为单位矩阵，并通知SIFT算法线程。