[发明专利]三维扫描系统中圆形标志点的检测方法

摘要

一种三维扫描系统圆形标志点的检测方法。该方法首先对左右摄像机拍摄的图像进行预处理，标志点的特征是在预处理后得到的边缘图中边界连续闭合，其次以边界连续闭合区域作为标志物的特征，设计相应的特征检测方法在图像中检测可能的标志点，将可能的标志点组成疑似点集，然后利用各疑似点的空间对应点在点云中的位置和微切平面与成像平面之间的夹角自适应设定形状描述阈值，并利用该阈值对疑似点的实际形状描述结果进行验证得到图像中的标志点，最后将左右摄像机拍摄的图像中的标志点进行匹配得到左右对应的标志点对，并获取匹配标志点对应的空间标志点。

主权项

1.一种三维扫描系统中圆形标志点的检测方法，其特征在于，该检测方法依次含有以下步骤：步骤1采集图像并进行预处理步骤1.1通过图像采集设备将图像输入计算机中；步骤1.2图像预处理，使标志点的边界连续闭合1)检测图像边缘：利用经典的Canny边缘算子检测图像的边缘，得到图像的边缘图，图像的边缘图由边缘像素点和非边缘像素点组成，各边缘像素点的边缘方向由Canny边缘算子计算；2)采取边界跟踪的方法提取图像的边缘，对于提取到的每一条连续的边缘s，计算s的长度l(s)，如果l(s)小于等于5个像素或者大于等于300个像素，则s的长度超出了标志物边界的范围，将s在边缘图中删除；如果l(s)大于5个像素并且小于300个像素，考察边缘s的两个端点pl和pr，沿端点pl处的边缘方向延伸一个像素，得到pl+1，以pl+1为中心点在3×3像素领域内寻找边缘像素点，如果发现边缘像素点并且该边缘像素点不属于边缘s，则将pl+1置为边缘像素点，对s的另一个端点pr进行同样的处理；步骤2检测可能的标志点以边缘图的左下角为原点，向右和向上的方向分别为X轴正方向和Y轴正方向，图像的宽度和高度分别为W和H，起始扫描点p的初始坐标为(0，0)，检测方法为：步骤2.1寻找第一个可能的标志点步骤2.1.1以p为起始点沿X轴正方向逐行向上扫描边缘图的像素点，直到扫描到边缘像素点时中止；将扫描到的边缘像素点记为pl，从pl起沿X轴正方向继续扫描，直到此后出现第一个非边缘像素点时，将与该第一个非边缘像素点相邻且已被扫描到的边缘像素点记为pr，如果扫描到图像的最右边仍未出现非边缘像素点，则将该行中图像最右边的点记为pr，pl和pr为一条边缘的最下面一行的左右端点；步骤2.1.2记录pl和pr的坐标值分别为(xi l，yj)和(xi r，yj)，以pl为基准点，依次考察坐标值为(xi l，yj+1)、(xi l-1，yj+1)、(xi l+1，yj+1)三个像素点，判断它们之中是否有边缘像素点，如果有，将其中的第一个边缘像素点记为pl 1；对pr做同样的处理，以pr为基准点，依次考察坐标值为(xi r，yj+1)、(xi r+1，yj+1)、(xi r-1，yj+1)的点，如果有边缘像素点，将第一个边缘像素点记为pr 1；如果没有这样的pl 1或pr 1，或者pl 1等于pr 1，则pl和pr所在的边缘不是连续闭合的，这时令pr右侧的非边缘像素点为新的起始点p，以步骤2.1.1的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点。步骤2.1.3以pl 1和pr 1作为基准点，记录它们的坐标值，采用与步骤2.1.2相同的方法在上一行中寻找新的基准点，并重复这一过程，对于找到的每一对新的基准点pl k和pr k，如果下面情况至少出现一种时：1)pl k等于pr k，2)pl k与pr k之间的像素全是边缘像素点并且上面一行相应位置的像素是非边缘像素点，则检测到一个边界连续闭合区域，如果在上一行中没有找到新的基准点，则令pr右侧的非边缘像素点为新的起始点p，以步骤2.1.1的方法沿X轴正方向继续扫描以寻找新的边缘的最下一行的左右端点；对于检测到的一个边界连续闭合区域，边缘像素点pl，pr，pl 1，pr 1…pl k，pr k属于该边界闭合区域的边界，将它们添加入链表list，计算list的均值作为边界连续闭合区域的型心，将该型心的值作为可能的标志点的坐标；将边缘像素点pl，pr，pl 1，pr 1…pl k，pr k标记为Bm，此后的扫描过程中将标记为Bm的像素按非边缘像素处理；步骤2.2 寻找边缘图中所有剩余可能的标志点步骤2.2.1令pr右侧的非边缘像素点为新的起始点p，以步骤2.1中的方法在边缘图中继续扫描寻找其他的边界连续闭合区域，当检测完一条边缘是否边界连续闭合后，pl和pr更新为该条边缘的最下面一行的左右端点；步骤2.2.2不断重复步骤2.2.1寻找图像中所有剩余的边界连续闭合区域，直到将边缘图中所有的像素扫描完毕，将每一个边界闭合区域的型心值作为可能的标志点的坐标，将所有可能的标志点组成疑似点集{q1，q2，…，qm}，其中q1，q2，…，qm为疑似点，m为疑似点的个数；步骤3.验证疑似点步骤3.1疑似点形状描述对于疑似点集中的各疑似点qt(1≤t≤m)，计算包含qt的边界连续闭合区域的面积area(qt)，提取该边界连续闭合区域的边界，对提取到的边界采用最小二乘方法拟合椭圆，计算出拟合的圆心值qt 0(x0，y0)和拟合均方差qt(e)，采用area(qt)、qt 0(x0，y0)、qt(e)描述疑似点qt的形状，形状描述结果以像素为单位；步骤3.2计算疑似点对应的空间点的三维坐标和微切平面与成像平面夹角1)在三维测量系统中，二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系为已知量，对于疑似点集中的各疑似点qt(1≤t≤m)，计算qt对应的三维空间点Qt在点云中的三维坐标值Qt(x，y，z)，空间点的坐标值以摄像机坐标系表示；2)计算Qt在点云中的微切平面S(Qt)的法向量n：取点云中与Qt距离最短的30个点组成邻近点集KNB(Qt)，KNB(Qt)＝{X1，X2，…，X30}，其中X1，X2，…，X30为邻近点；利用KNB(Qt)的最小二乘逼近平面作为Qt的微切平面S(Qt)，计算S(Qt)的法矢量n＝{A，B，C}；3)计算微切平面与成像平面的夹角θ成像平面的法线向量为n0＝{0，0，1}，则微切平面S(Qt)与成像平面的夹角Qt(θ)的余弦$\cos \left(Q_t\left(\theta \right)\right)=\left|\cos \widehat{(n_0,n)}\right|,$按两向量夹角余弦的坐标表示式，Qt(θ)可由$\cos \left(Q_t\left(\theta \right)\right)=\frac{\left|C\right|}{\sqrt{A^2+B^2+C^2}}$来确定；步骤3.3自适应设定阈值疑似点的形状阈值不仅与疑似点的空间对应点的位置和微切平面与成像平面的夹角有关，还与采用的标志点和摄像机有关，假设Z为采用的标志点距离摄像机镜头的垂直距离，N为采用的标志点在摄像机镜头上方Zcm处透视投影成像后的圆面积，投影时空间标志点所在平面与成像面夹角为0，即两平面平行。根据Qt(x，y，z)、Qt(θ)、Z、N为疑似点qt设定面积阈值和拟合均方差阈值，面积阈值Tarea(qt)和拟合均方差阈值Tqt(e)分别设为：$T_{\mathrm{area}\left(q_t\right)}=\left\{\begin{array}{cc}\frac{Z\times N\times 1.2}{d}& 0\le \theta <30\\ \frac{Z\times N}{d}& 30\le \theta <60\\ \frac{Z\times N\times 0.8}{d}& 60\le \theta \le 90\end{array}\right\},$ $T_{q_t\left(e\right)}=\left\{\begin{array}{cc}1& 0\le \theta <30\\ 2& 30\le \theta <60\\ 3& 0\le \theta \le 90\end{array}\right\},$ 其中d为疑似点qt的空间对应点Qt(x，y，z)的z坐标值，θ＝Qt(θ)；步骤3.4验证标志点将Tarea(qt)、Tqt(e)与疑似点qt的实际描述结果area(qt)、qt(e)进行比较，如果$\mathrm{area}\left(q_t\right)<T_{\mathrm{area}\left(q_t\right)}$并且$q_t\left(e\right)<T_{q_t\left(e\right)},$则qt验证为标志点，拟合得到的椭圆圆心值qt 0(x0，y0)作为标志点在图像中的位置；步骤4.匹配左右图像中的标志点采用上述方法得到左右摄像机拍摄的图像中的标志点，用极线约束和唯一性约束的方法匹配左右图像的标志点；步骤5.将相匹配标志点对转化为空间标志点利用相匹配标志点对的位置和二维图像中点的坐标与该点的空间对应点的三维坐标的对应关系，计算得到标志点在点云中的三维坐标。