[发明专利]一种基于全景与单目视觉的混合视觉定位方法

权利要求书

1.一种基于全景与单目视觉的混合视觉定位方法，其特征在于：包含如下步骤：

步骤(1)：将全景相机与普通视觉相机垂直放置组成混合垂直立体视觉，使用平面棋盘格对全景与普通视觉分别标定，得到全景相机与普通视觉相机的内部参数；

步骤(2)：在混合垂直立体视觉中，将全景与普通视觉统一化为球面统一投影模型，根据全景与普通视觉的共同方位对全景有效坐标系转换得到新的全景方位坐标系O_g-X_gY_gZ_g；

步骤(3)：根据立体标定结果，得到新的全景方位坐标系O_g-X_gY_gZ_g与普通视觉相机的相机坐标系O_p-X_pY_pZ_p之间的旋转矩阵R与平移矩阵T；

步骤(4)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正，通过一般化的立体匹配得到垂直视差，再根据混合垂直立体视觉系统的三角测量公式确定目标点的三维位置坐标信息。

2.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(1)中的全景相机与普通视觉相机的内部参数包括全景相机的内参矩阵K_o，普通视觉相机的内参矩阵K_p，全景相机的畸变系数(k_o1,k₀₂,p₀₁,p_o2)，普通视觉相机的畸变系数(k_p1,k_p2,k_p3,p_p1,p_p2)；

其中：

上式中，η是与双曲面镜参数有关的参数，γ₁与γ₂为有效焦距，(u₀,v_o)为全景相机的主点；

3.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(2)具体为：

建立球面统一投影模型：O_m-X_mY_mZ_m为全景有效坐标系，全景有效坐标系原点为球面统一投影模型的单位球球心，O_p-X_pY_pZ_p为普通视觉相机的相机坐标系；

取矩阵和矩阵R_f：

上式中，θ为共同方位在全景图像中与X_m坐标轴的夹角，矩阵R_f是引入的用来统一全景与普通视觉共同方位的坐标系的矩阵；

旋转和R_f得到新的全景方位坐标系O_g-X_gY_gZ_g：

上式中，(x_g,y_g,z_g)是在新的全景方位坐标系中的球面点的坐标。

4.根据权利要求1所述的一种基于全景与单目视觉的混合视觉定位方法，其特征在于：所述的步骤(4)具体为：

步骤(4.1)：利用旋转矩阵R与平移矩阵T对混合垂直立体视觉立体校正：

将旋转矩阵R分解得到r_u、r_d：

r_u*r_d＝1；

上式中，r_u是上坐标系达到重投影透视图像平面共面所需的旋转矩阵，r_d是下坐标系达到重投影透视图像平面共面所需的旋转矩阵；

定义上坐标系原点与下坐标系原点的连线和重投影透视图像平面的交点为极点，令全景相机与普通视觉相机的图像平面和上坐标系原点与下坐标系原点的连线平行，使得极点处于无穷远处列对齐：计算使得极点处于y轴无穷远处的R_rect矩阵：

重投影透视图像平面和相机坐标系原点连线平行：

上式中，T＝[T_x T_y T_z]^T；

e₁和e₂正交，e₂与主光轴方向向量(0,0,1)叉积：

e₃与e₁和e₂正交：

e₃＝e₁×e₂；

将R_rect左乘到矩阵r_u和矩阵r_d：

R_u＝R_rect*r_u；

R_d＝R_rect*r_d；

上式中，R_d是立体校正过程中O_g-X_gY_gZ_g坐标系的旋转矩阵，R_u是立体校正过程中O_p-X_pY_pZ_p坐标系的旋转矩阵；

步骤(4.2)：立体校正后，空间点在重投影透视图像平面的投影列对齐，混合垂直立体视觉系统的三角测量公式为：

上式中，B为混合垂直立体视觉的基线，B的大小为全景有效视点与普通相机光心之间的距离；

步骤(4.3)：定义垂直视差为v_y＝y₂-y₁；垂直视差的大小d和给定的二维齐次坐标之间存在如下关系：

上式中，Q为重投影矩阵；

然后计算得到目标点的三维位置坐标信息(X/W,Y/W,Z/W)。