[发明专利]基于双目视觉传感器的轨道机器人检测方法

权利要求书

1.基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述方法具体过程为：

步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：

两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；

视差是指两幅图像中不同的地方；

红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；

红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；

所述红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；具体过程为：

1)、建立像素平面坐标系O-UV；

所述O表示像素平面坐标系原点，U为数字图像中像素点位置所对应的长的分辨率的值，上限等于红外双目视觉传感器分辨率的长；V为数字图像中像素点位置所对应的宽的分辨率的值，上限等于红外双目视觉传感器分辨率的宽；

将数字图像像素在像素平面坐标系中表示为(u,v)；

2)、建立成像平面坐标系O₁-XY；

所述X表示成像平面坐标系x轴，Y表示成像平面坐标系y轴；O₁点表示数字图像的主点，由红外双目视觉传感器的光轴和数字图像平面交叉而成；

将数字图像像素在成像平面坐标系中表示为(x,y)；

成像平面坐标系与像素平面坐标系之间的关系式表示如下：

其中，数字图像的主点O₁在像素平面坐标系中的焦平面阵列几何中心，表示为(u₀,v₀)，dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置；

3)、建立红外双目视觉传感器坐标系o_c-X_cY_cZ_c；

所述o_c表示红外双目视觉传感器的光心；X_c表示红外双目视觉传感器坐标系的x轴，平行于成像平面坐标系的x轴；Y_c表示红外双目视觉传感器坐标系的y轴，平行于成像平面坐标系的y轴；Z_c表示红外视觉传感器的光轴主轴；

将图像像素在红外双目视觉传感器坐标系中表示为(x_c,y_c,z_c)；

红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下：

其中，f为红外双目视觉传感器的焦距；λ为两个坐标系之间的倾斜因子，表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度；

4)、建立世界坐标系o_w-X_wY_wZ_w；

所述o_w为世界坐标系圆心，X_w为世界坐标系的x轴，Y_w为世界坐标系的y轴，Z_w为世界坐标系的z轴；

将图像像素在世界坐标系中表示为(x_w,y_w,z_w)；

设定世界坐标系o_w-X_wY_wZ_w为双目视觉系统的理想成像模型所在的坐标系；

世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下：

其中，R表示旋转矩阵，t_ab表示平移矩阵；

像素平面坐标系与世界坐标系之间的转换关系式如下：

其中K为红外双目视觉传感器的内参矩阵；

步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标；

所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标；具体过程为：

将两个红外双目视觉传感器编号为a和b，在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系o_ca-X_caY_caZ_ca和o_cb-X_cbY_cbZ_cb；在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O_1a-X_aY_a和O_1b-X_bY_b；在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系O_a-U_aV_a和O_b-U_bV_b；P和P′是三维空间中的任意两点；

空间点P(x_w,y_w,z_w)投影到红外双目视觉传感器a像素平面坐标系中，双目视觉系统的理想成像模型表达式如下：

其中，f_a为红外双目视觉传感器a的焦距；(u_0a,v_0a)为红外双目视觉传感器a的光心；Z_ac是坐标计算式中的比例因子；u_a表示像素点在红外双目视觉传感器a中对应的像素点长，v_a表示像素点在红外双目视觉传感器a中对应的像素点宽，r_1a、r_2a、r_3a、r_4a、r_5a、r_6a、r_7a、r_8a、r_9a表示在红外双目视觉传感器坐标系o_ca-X_caY_caZ_ca下的旋转参数，t_xa表示像素平面坐标系O_a-U_aV_a的u轴在红外双目视觉传感器坐标系o_ca-X_caY_caZ_ca下的平移参数，t_ya表示像素平面坐标系O_a-U_aV_a的v轴在红外双目视觉传感器坐标系o_ca-X_caY_caZ_ca下的平移参数，t_za表示像素平面坐标系O_a-U_aV_a的i轴在红外双目视觉传感器坐标系o_ca-X_caY_caZ_ca下的平移参数，M_a为红外双目视觉传感器a的投影矩阵；

将空间点P(x_w,y_w,z_w)投射到红外双目视觉传感器b像素平面的坐标系中，双目视觉系统的理想成像模型表达式如下：

其中，f_b为红外双目视觉传感器b的焦距；(u_0b,v_0b)为红外双目视觉传感器b的光心，Z_bc是坐标计算式中的比例因子；u_b表示像素点在红外双目视觉传感器b中对应的像素点长，v_b表示像素点在红外双目视觉传感器b中对应的像素点宽，r_1b、r_2b、r_3b、r_4b、r_5b、r_6b、r_7b、r_8b、r_9b表示在红外双目视觉传感器坐标系o_cb-X_cbY_cbZ_cb下的旋转参数，t_xb表示像素平面坐标系O_b-U_bV_b的u轴在红外双目视觉传感器坐标系o_cb-X_cbY_cbZ_cb下的平移参数，t_yb表示像素平面坐标系O_b-U_bV_b的v轴在红外双目视觉传感器坐标系o_cb-X_cbY_cbZ_cb下的平移参数，t_zb表示像素平面坐标系O_b-U_bV_b的i轴在红外双目视觉传感器坐标系o_cb-X_cbY_cbZ_cb下的平移参数，M_b为红外双目视觉传感器b的投影矩阵；像素平面坐标系O_b-U_bV_b的i轴为垂直于像素平面坐标系O_b-U_bV_b的轴；

计算两台红外双目视觉传感器之间的相对位置关系，通过a,b两台红外双目视觉传感器之间的旋转平移矩阵M_ab实现两台红外双目视觉传感器之间的转换，旋转平移矩阵M_ab包括旋转矩阵和平移矩阵：

M_ab＝[R_ab t_ab]

其中，R_ab表示a,b两台红外双目视觉传感器之间的旋转矩阵，t_ab表示A,B两台红外双目视觉传感器之间的平移矩阵；

红外双目视觉传感器a和红外双目视觉传感器b之间的转换关系表达式为：

其中，X_b表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器b坐标系o_cb-X_cbY_cbZ_cb下的X坐标，Y_b表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器b坐标系o_cb-X_cbY_cbZ_cb下的Y坐标，Z_b表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器b坐标系o_cb-X_cbY_cbZ_cb下的Z坐标，X_a表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器a坐标系o_ca-X_caY_caZ_ca下的X坐标，Y_a表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器a坐标系o_ca-X_caY_caZ_ca下的Y坐标，Z_a表示空间点P(x_w,y_w,z_w)在红外双目视觉传感器a坐标系o_ca-X_caY_caZ_ca下的Z坐标；

指定红外双目视觉传感器a作为全局坐标系，那么空间点P(x_w,y_w,z_w)投射到红外双目视觉传感器a坐标系中的理想成像模型表示为：

其中，K_a为红外双目视觉传感器a的内部参数矩阵，X_g＝(X_a Y_a Z_a)^T为空间点P(x_w,y_w,z_w)在红外双目视觉传感器a坐标系o_ca-X_caY_caZ_ca下的坐标；T为转置；

结合旋转平移矩阵M_ab，将空间点P(x_w,y_w,z_w)投射到红外双目视觉传感器b坐标系中的理想成像模型表示为：

其中，K_b表示红外视觉传感器b的内部参数矩阵；

根据视差和四个理想成像模型得到数字图像的三维空间位置坐标P_a和P_b；

P_a＝[u_a v_a 1]^T和P_b＝[u_b v_b 1]^T分别是A,B两台红外双目视觉传感器坐标系对应于三维空间同一投影点的像素坐标值。