[发明专利]一种狭窄空间双目视觉测量定位装置及方法

权利要求书

1.一种狭窄空间双目视觉测量定位装置，其特征在于：包括双目视觉平台和视觉测量终端，其中双目视觉平台选择基于空间四自由度的双目摄像机的视觉平台，视觉测量终端共有两组，每组视觉测量终端均有摄像机、激光器和伸缩标定板构成，两组视觉测量终端分别轴向对称的安装在双目视觉平台的两个运动转动轴上；基于空间四自由度的双目摄像机的视觉平台四个自由度分别为平台回转运动、平台俯仰运动的2个自由度以及视觉测量终端转动轴转动的2个自由度；

视觉测量终端的最下端通过固定件固定摄像机，摄像机的上方通过固定件固定激光器，激光器的上方通过固定件安装伸缩标定板，伸缩标定板由收缩支撑杆、收缩旋转杆和棋牌格标定板组成，其中收缩支撑杆一端与固定件固定，使收缩支撑杆垂直于摄像机的镜头方向，另一端通过电机转轴与收缩旋转杆的一端连接，收缩旋转杆的另一端通过电机转轴与棋牌格标定板连接；摄像机、激光器和伸缩标定板通过固定件固定在钢片上；两组视觉测量终端分别安装在相应的钢片上，两个钢片再分别与基于空间四自由度的双目摄像机的视觉平台的转动运动轴相连接，实现视觉测量终端与视觉平台的连接。

2.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的摄像机进行标定时，使收缩支撑杆与收缩旋转杆之间的转轴对应的控制电机正转，使收缩支撑杆与收缩旋转杆展开即收缩支撑杆与收缩旋转杆趋向平行方向转动，直至收缩旋转杆至与收缩支撑杆平行时展开完毕；然后控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机正转，棋牌格标定板平面由与收缩旋转杆的轴线平行旋转为与收缩旋转杆的轴线有一定的角度，当棋牌格标定板的平面旋转至垂直于收缩旋转杆的轴线时，棋牌格标定板展开完毕；标定完毕后，先控制收缩旋转杆与棋牌格标定板之间连接的转轴所对应的控制电机反转，棋牌格标定板平面由原来与收缩旋转杆的轴线垂直旋转为与轴线不垂直，当棋牌格标定板的平面旋转至与连接杆的轴线平行后，控制收缩支撑杆与收缩旋转杆连接之间连接的转轴所对应的控制电机反转，收缩旋转杆旋转收缩，收缩旋转杆旋转至与收缩支撑杆重叠时，棋牌格标定板收缩完毕。

3.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的摄像机与激光器之间的间隔距离为摄像机的最上端与激光器的最下端之间的距离，该距离为3～5mm。

4.根据权利要求1所述的一种狭窄空间双目视觉测量定位装置，其特征在于：所述的激光器与伸缩标定板的收缩旋转杆之间的垂直间隔间距根据摄像机参数和激光器尺寸参数进行选择。

5.一种狭窄空间双目视觉测量定位方法，其特征在于：具体包括以下几个步骤：

步骤一、摄像机实时标定

（1）标定图像的获取

当视觉测量终端在狭窄空间中进行视觉测量定位时，通过对伸缩棋牌格标定板的收缩旋转杆折叠展开的控制，将收缩旋转杆展开，同时展开棋牌格标定板，激光器和摄像机工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像；

根据摄像机成像几何关系，o点为摄像机光心，X_c轴和Y_c轴与图像的坐标系中的X轴和Y轴相平行，Z_c轴为摄像机光轴与直角X_W,Y_W,Z_W坐标系中的Z_W轴重合，光轴与图像平面的交点o′为图像坐标系的原点，X_W,Y_W,Z_W构成的坐标系为世界坐标系，X_c,Y_c,Z_c,o组成的坐标系为摄像机坐标系，X,Y,o′构成的坐标系为图像坐标系，o′与o的连线长度为摄像机的焦距f；

狭窄空间视觉测量中摄像机成像模型为针孔模型，棋牌格标定板面上的点在测量选定的世界坐标系中的表示为P_i(x_w,y_w,z_w)(i＝1,2,...)，i表示是棋牌格上的第几个点，w表示该点是以世界坐标系为参考坐标系；p_i(u,v)(i＝1,2,...)表示对应的P_i(x_w,y_w,z_w)(i＝1,2,...)在成像面上的所成相的像素，其中每一点的坐标(u,v)分别是该像素在整幅图像中所处的行数和列数，待标定的摄像机和激光器工作，激光器发出激光投射到棋牌格标定板上，摄像机获取有激光投射的棋牌格标定板图像；

（2）世界坐标系中的点与该点在摄像机坐标系中的点的关系

设空间中某一点在世界坐标系的位置为P_W＝(x_w,y_w,z_w)^T，在摄像机坐标系中的坐标为P＝(x,y,z)^T，则有关系式

xyz=Rtxwywzw---(1)]]>

将公式（1）用齐次坐标表示为

xyz1=Rt0T1xwywzw1=M1xwywzw1---(2)]]>

其中M₁表示世界坐标系到摄像机坐标系的变换矩阵，R为旋转矩阵，表示点P_w＝(x_w,y_w,z_w)^T在欧式空间的姿态变换，3×3的正交矩阵，共有9个参数：

R=r11r12r13r21r22r23r31r32r33---(3)]]>

其中r_ij表示世界坐标系i轴与摄像机坐标系j轴的夹角的余弦值，i轴取X_W,Y_W或Z_W，j轴取X_c,Y_c或Z_c；公式（3）中的9个参数之间存在以下约束：

r112+r122+r132=1r212+r222+r232=1r312+r322+r332=1r11r21+r12r22+r13r23=1r11r31+r12r32+r13r33=1r31r21+r32r22+r33r23=1---(4)]]>

t＝(t_x,t_y,t_z)^T为三维向量，表示点P_w＝(x_w,y_w,z_w)^T在空间沿X_W轴、Y_W轴、Z_W的平移向量；

（3）世界坐标系中的点与该点在图像坐标系中对应点的关系

摄像机所拍摄的图像经过摄像机内图像采集系统转化为数字图像，数字图像在计算机内用一个m×n大小的数组来表示，m行n列中每一个元素的值为图像点的亮度，在图像坐标系中坐标(u，v)分别表示像素在数组中所在的行和列，因此得到的坐标系是以像素为单位的图像坐标系，以o′点为原点，X轴，Y轴分别与u,v轴平行，将o′定义在摄像机光轴与图像平面的交点，o′点在u,v坐标系中的坐标为(u_o,v_o)；

每一个像素在X,Y物理坐标系下的大小为dX，dY，得到u,v与X,Y和(u_o,v_o)换算关系为

u=XdX+u0v=YdY+v0---(5)]]>

公式（5）使用坐标与矩阵形式表达为

uv1=1dX0u001dYv0001XY1---(6)]]>

世界坐标系中的点P_w＝(x_w,y_w,z_w)^T到图像坐标系中的点p(u,v)的坐标转换关系为：

suv1=1dX0u001dYv0001f0000f000010Rt0T1xwywzw1---(7)]]>

=αx0u000αyv000010Rt0T1xwywzw1=M1M2xwywzw1=Mxwywzw1]]>

其中，α_x为u轴上的尺度因子，α_y为v轴上的尺度因子，M为3×4的投影矩阵，M₁为摄像机内部参数；M₂为摄像机的外部参数，s是坐标转换的尺度因子；

（4）、摄像机的实时标定参数的计算

采用棋牌格标定板作为标定物，摄像机获取棋牌格标定板的图像，标定计算处理的过程具体为：

首先，将世界坐标建立在棋牌格所在的欧氏平面上，世界坐标系中棋牌格第一个顶点为P₁＝[0,0,0]^T，第二个顶点为P₂＝[0,1,0]^T，第三个点为P₃＝[1,1,0]^T，第四个点为P₄＝[0,1,0]^T，根据棋牌格的尺寸参数另外选取8个点：P₅＝[0,0.5,0]^T，P₆＝[0.5,0,0]^T，P₇＝[0.5,1,0]^T，P₈＝[1,0.5,0]^T，P₉＝[0.5,0.5,0]^T，P₁₀＝[0,0.25,0]^T，P₁₁＝[0.25,0,0]^T，P₁₂＝[0.25,0.25,0]^T；

其次，采用图像处理当中特征点的提取方法，提取棋牌格四个角顶点及对应选取的其它点在图像平面上的二维点像素坐标；第一个点为p₁＝[u₁,v₁]^T，第二个点为p₂＝[u₂,v₂]^T，第三个点为p₃＝[u₃,v₃]^T，第二个点为p₄＝[u₄,v₄]^T，其它8个点：p₅＝[u₅,v₅]^T，p₆＝[u₆,v₆]^T，p₇＝[u₇,v₇]^T，p₈＝[u₈,v₈]^T，p₉＝[u₉,v₉]^T，p₁₀＝[u₁₀,v₁₀]^T，p₁₁＝[u₁₁,v₁₁]^T，p₁₂＝[u₁₂,v₁₂]^T；

再次，计算待标定的空间点P₁,P₂,P₃,P₄…P₁₂与图像点p₁,p₂,p₃,p₄…p₁₂之间的映射关系，将第一个点为P₁＝[0,0,0]^T和第一个点为p₁＝[u₁,v₁]^T代入公式（7）得到一个方程，然后依次分别将P₂,p₂;P₃,p₃…P₁₂,p₁₂代入公式（7），得到12个方程；

最后，求解由12个棋牌格上的标定点所得到的12个方程与公式（6）旋转矩阵R的每个元素的约束方程相联立的方程组，求解出摄像机的参数矩阵式M，通过对棋牌格标定板的控制使得其回复到初始状态；

M=M1M2=αx0u000αyv000010×Rt0T1]]>

=αx0u000αyv000010×r11r12r13txr21r22r23tyr31r32r33tz0001---(8)]]>

=m11m12m13m14m21m22m23m24m31m32m33m34]]>

其中m_ij由摄像机内部参数和外部参数矩阵根据矩阵的乘法得到；

通过上述步骤计算分别得到左侧摄像机和右侧摄像机的标定矩阵M_L、M_R：

ML=m11Lm12Lm13Lm14Lm21Lm22Lm23Lm24Lm31Lm32Lm33Lm34L,]]>MR=m11Rm12Rm13Rm14Rm21Rm22Rm23Rm24Rm31Rm32Rm33Rm34R---(9)]]>

其中由左摄像机内部参数和外部参数矩阵根据矩阵的乘法得到，由右摄像机内部参数和外部参数矩阵根据矩阵的乘法得到；

步骤二、基于激光的双目立体匹配与测量

测量定位终端的左右摄像机实时标定完成后，根据双目横向会聚模式的双目视觉测量原理，实际狭窄空间被测目标表面的一点P_w，在左摄像机中成的像为p_L，右摄像机中成的像为p_R，利用图像检测方法检测出在左摄像机点p_L的坐标，在右摄像机点p_R的坐标，然后利用该坐标求出点P_w的坐标；

采用激光双目图像匹配，采取在CCD摄象机上方加装激光源发出的光照射到目标物体上，形成高噪音比的点，利用高噪音比的点很容易在两幅二维图象中找出匹配点，完成空间点的匹配，目标物体放在视场中，两个激光器照在目标物体上的光相交为点N，可以利用两激光照在物体表面上的交点不在物体表面的方法进行分析；

N不在物体表面上，而是与物体表面分别相交于N₁和N₂点，当交点在物体表面时，N₁和N₂重合为一点，在左右成像平面上的投影分别是N_1L、N_1R、N_2L、N_2R，M点为两摄像机光轴的交点，F_L和F_R分别为两摄像机光学镜头的焦点；

通过N_1L、N_1R、N_2L、N_2R确定N₁和N₂点在世界坐标系中的位置，确定N₁点在世界坐标系中位置；

N_1L、N_1R的坐标分别为(u_1L,v_1L),(u_1R,v_1R)，由公式（7）和公式（9）得到：

(uL1m31L-m11L)xw+(uL1m32L-m12L)yw+(uL1m33L-m13L)zw=m14L-uL1m34L(vL1m31L-m21L)xw+(vL1m32L-m22L)yw+(vL1m33L-m23L)zw=m24L-vL1m34L---(10)]]>

(uR1m31R-m11R)xw+(uR1m32R-m12R)yw+(uR1m33R-m13R)zw=m14R-uR1m34R(vR1m31R-m21R)xw+(vR1m32R-m22R)yw+(vR1m33R-m23R)zw=m24R-vR1m34R---(11)]]>

由公式（10）消去x_w得：

(uL1m32L-m12LuL1m31L-m11L-vL1m32L-m22LvL1m31L-m21L)yw+(uL1m33L-m13LuL1m31L-m11L-vL1m33L-m23LvL1m31L-m21L)zw+uL1m34L-m14LuL1m31L-m11L-vL1m34L-m24LvL1m31L-m21L=0---(12)]]>

公式（12）为过射线且平行于x_w轴的平面π_L的方程；

由公式（11）消去x_w得：

(uR1m32R-m12RuR1m31R-m11R-vR1m32R-m22RvR1m31R-m21R)yw+(uR1m33R-m13RuR1m31R-m11R-vR1m33R-m23RvR1m31R-m21R)zw+uR1m34R-m14RuR1m31R-m11R-vR1m34R-m24RvR1m31R-m21R=0---(13)]]>

公式（13）为过射线且平行于x_w轴的平面π_R的方程；联立公式（10）和（13）求得交点N_L1在世界坐标系中的空间坐标；联立式（11）和（12）可求得交点N_R1在世界坐标系中的空间坐标；取N_L1和N_R1的中点为被测物体表面N₁点坐标N₁(x_w,y_w,z_w)；用同样的方法和步骤求得被测物体表面N₂点的空间坐标；

当两个激光器的射线相交于物体表面上的一点时，则N₁和N₂点重合，求解出N₁或N₂点在世界坐标系的坐标。