[发明专利]一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法

说明书

本发明公开了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，包括：左右视图管道初始化；左右视图管道对应关系构建；管道与标志点ID关联；左右相机同步采集一帧图像；标志点实时检测；帧间标志点实时跟踪；左右视图标志点实时匹配；管道更新；判断是否停止序列图像的实时采集；若是，则结束实时跟踪与匹配；否则，重复执行，实时采集图像、实时跟踪与匹配。本发明将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，构建出左右视图管道队列及管道相互对应关系，在完成帧间标志点跟踪的同时实现左右视图中标志点的自动匹配，不需要进行专门的匹配，因此，跟踪与匹配的效率得到极大提升，具有快速、准确、鲁棒等优点。

技术领域

本发明属于双目立体视觉技术领域，涉及一种双目序列图像中标志点跟踪与匹配方法，更进一步涉及一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法。

背景技术

双目立体视觉作为计算机视觉的一个重要分支，旨在通过左右两台摄像机去模仿人类的双目视觉机理，来计算目标场景的三维信息。因其具有便捷、低成本、实时性较强且精度较高的特点，在机器人视觉、航空测绘、反求工程、国防军工、医学成像和工业检测等领域中得到了广泛应用。双目立体视觉通常使用人工标志点或自然特征点(角点)作为测量目标。其中，基于人工标志点的测量方式因其精度高、实时性强而应用广泛。获取左右相机序列图像中人工标志点(主要是非编码标志点)的匹配关系是其关键一步，也是保证双目立体视觉实时性和精度的基础。跟踪与匹配的准确性决定了检测的准确性，跟踪与匹配的速度决定了检测的效率。

中国发明专利ZL200710307748.6提出一种基于卡尔曼滤波器的帧间标志点跟踪方法。但该方法在初始化阶段需要通过手工建立双目视觉下两组视频图像之间的同步对应关系，不能实现自动匹配；跟踪过程中，需要同时利用二维卡尔曼滤波器和三维卡尔曼滤波器进行预测，并利用三维卡尔曼滤波器修正二维卡尔曼滤波器预测结果，整个过程比较耗时。中国发明专利ZL 202010054037.8基于随机邻域拓扑排列的特征向量对变形前图像和变形后图像中的同一标志点进行匹配。在对每个标志点进行匹配时，由于每次需要获取标志点总数量的2/3至3/4作为相邻标志点确定与该标志点的相对位置，因此，匹配运行量大，效率低。

中国发明专利ZL201910403384.4基于标定参数构造第三视角图像，利用左相机图像和构造的第三视角图像在右图像中的双重极线约束完成特征标志点的匹配。通过双重极限约束在一定程度上降低了误匹配的概率，但每帧图像匹配过程中构造一幅第三视角图像需要耗费大量的时间。中国发明专利ZL201910224546.8提出了一种利用极线校正得到共面且对准的双目立体视觉图像，然后通过标志点之间的欧氏距离来获得左右相机序列图像标志点的匹配关系。但当标志点分布过于密集时，计算的极线会在图像中产生重叠现象，使得上述方法失效。同时，在实际匹配过程中，由于定向参数不精确等的影响，也会导致像点与对应极线的距离误差较大，降低了该方法的稳定性。

发明内容

为了克服现有技术的不足，本发明将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，提出了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法。首先，在管道初始化阶段为左右视图(左右相机采集的图像称为左右视图)中的每个圆形非编码标志点构建一个管道，在此基础上，实现左右相机采集的序列图像中圆形非编码标志点的帧间实时跟踪；其次，将形状上下文算法与极线约束相结合，构建出左右视图管道队列中的管道的相互对应关系，基于此实现左右视图中圆形非编码标志点的快速匹配。最后，对于因遮挡等导致采用管道滤波算法匹配失败的少数圆形非编码标志点，利用单应性变换算法进行快速、准确的匹配，从而保证了立体匹配的准确性、鲁棒性。该方法中最为耗时的步骤为形状上下文算法与极线约束相结合的左右视图管道对应关系构建，但该过程放在了管道初始化阶段，后续实时跟踪与匹配阶段不涉及，因此，保证了跟踪与匹配的实时性。总之，与现有技术相比，该方法兼顾了圆形非编码标志点匹配的实时性与准确性，具有快速、精准、鲁棒等优点。

为了实现上述目的，本发明采用的技术方案是：