[发明专利]一种基于多目视觉的红外空间定位系统及方法

说明书

一种基于多目视觉的红外空间定位系统，包括多目红外相机及处理单元；多目红外相机包括N个摄像头，N≥3，至少一摄像头的成像点与其它各摄像头的成像点不在同一直线上。定位方法包括：将各摄像头两两组合形成对组合；各摄像头同步采集图像，并发送至处理单元进行处理，获得红外标记物的形态学中心坐标位置；运用极限约束原理分别对对组合中各摄像头拍摄的红外标记物的形态学中心坐标进行一一匹配；若在各对组合中都满足同样的匹配关系，即判定成功匹配。本发明通过使用多目摄像，建立多个匹配关系，只有满足所有的任两个摄像头之间匹配关系才可判定为圆心坐标匹配成功，可完全避免误匹配问题。

技术领域

本发明涉及生物医学应用与计算机领域，具体涉及一种基于多目视觉的红外空间定位系统及方法。

背景技术

双目红外定位设备是最常见的三维空间定位系统，常被应用于外科手术导航与手术机器人、康复医疗中。双目红外定位设备实现三维空间定位的方法具体可包括：

1）对双目相机进行相机校准，获得左右两摄像头的内部参数和两摄像头之间的外部参数，并建立基础矩阵；

2）于双目相机的摄像头中增加红外滤光膜，使其只能通过指定波长的红外线，如850nm或940nm的红外线；

3）于双目相机的摄像头周围增加红外补光器；

4）在空间中放置红外反光器械（如红外反光球等），因此在红外补光器的照射下，通过红外滤光膜的过滤后，在所述双目相机所拍摄的图像中，红外反光球所在的区域将呈现高亮度（白色），其他背景区域呈现低亮度（黑色），如图1所示；

5）运用阈值分割技术和圆形拟合技术，求出第一摄像头所拍摄的第一图像（左侧）与第二摄像头所拍摄的第二图像（右侧）中的红外反光球区域的圆心的图像坐标；

6）左右两图像各自计算得到的圆心坐标位置需要对其进行一一匹配，以图1为例，左侧计算得到5个圆心的像素坐标值，右侧计算得到5个圆心的像素坐标值，左右5个像素坐标值进行一一匹配后，即可通过圆心在第一图像和第二图像的像素位置以及步骤1）计算得到的第一摄像头和第二摄像头内、外参计算得到准确的球心的三维空间位置。

通过以上描述可知，如何对左右两图像的圆心像素坐标进行一一匹配是关键步骤，如果圆心坐标的对应匹配关系出错，则计算得到的红外反光球的球心三维空间位置将会出现较大误差。

在步骤1）中，通过双目校准已可以得到双目相机之间的基础矩阵（FundamentalMatrix），根据双目相机的对极几何原理（如图2所示），X为红外反光球的三维空间坐标，C1为左侧摄像头的成像空间坐标，C2为右侧摄像头的成像空间坐标，X1为红外反光球在左侧摄像头的圆心像素坐标[x1, y1, 1]，X2为红外反光球在右侧摄像头的圆心像素坐标[x2,y2, 1], 通过连线X、C1、C2得到一个平面三角形，该平面三角形与左侧摄像头摄像平面I1相交的线为l1，该平面三角形与右侧摄像头摄像平面I2相交的线为l2，l1和l2即所谓的对极线，在左侧对极线上的所有点和右侧对极上的所有点满足以下公式（1）：

但是在实际实践中，通过圆形拟合得到圆心坐标位置存在一定的误差，因此左右图像圆心坐标匹配往往采用以下方式：左侧图像中任一个圆心坐标与右侧图像中所有圆心坐标以此按照公式（1）计算，所得理论值为0，从右侧某一个圆心坐标与左侧的指定圆心坐标计算公式（1）所得值最小，即认定右侧该圆心与左侧指定圆心实现匹配，该匹配方法称为极线约束。

如图2所示，现有技术中普遍使用以上方法进行左右圆心的匹配操作，如已公开的国内专利201510873609.4。然而上述操作存在一定的问题，只要红外反光球在左右两侧图片的圆心坐标满足极线约束条件即可认为是一一匹配关系，但通过图3可知，三个红外反光球在左侧图像上的投影圆心均为x1，在右侧图像的投影圆心则有三个，右侧的三个圆心与左侧圆心均满足极线约束条件，因此极线约束在某些特定情况下会出现误匹配问题，同时，由于圆心计算有误差，该误匹配问题非常常见，从而得到计算错误的三维空间伪点。