[发明专利]一种基于二维和三维摄像机融合的三维视觉信息获取方法

权利要求书

1.一种基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，包括以下几个步骤：

步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M_3D、二维摄像机内参数矩阵M_2D、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T；

步骤2：建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像CI的映射模型；

步骤3：按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像CI中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获得的图像CI与三维摄像机同步获得的空间信息的融合；

所述步骤2中的映射模型为以下公式：

ZC2Du2Dv2D1=ZC3DM2DRTTT0T1M3D-1u3Dv3D1]]>

三维摄像机的深度图像DI中任一像素点p^3D(u^3D,v^3D)，根据上述公式求得像素点p^3D(u^3D,v^3D)在二维摄像机获得的二维彩色图像中对应匹配点p^2D的图像坐标值(u^2D,v^2D)，以及该像素点对应的深度信息

为三维摄像机获得的深度图像DI中的任一像素点(u^3D,v^3D)的深度图像值，为M_3D的逆矩阵，R^T为R的转置矩阵，T^T为T的转置矩阵；

所述步骤3的具体方法为：

步骤a：获取待插补区域IR；

按照步骤2建立的映射模型将三维摄像机获取的深度图像DI映射在二维摄像机获取的二维彩色图像CI中的映射点集合P^IR所在的最小矩形区域IR作为待插补区域，即：

IR＝CI[X_min:X_max,Y_min:Y_max]

其中，待插补区域IR中的像素点坐标为(u_IR,v_IR)，X_min＝Min[P^IR.u_IR]，X_max＝Max[P^IR.u_IR]，Y_min＝Min[P^IR.v_IR]，Y_max＝Max[P^IR.v_IR]，P^IR为三维摄像机获得的深度图像DI中的像素点在二维摄像机获得的二维彩色图像CI中对应的映射点集合

步骤b：对待插补区域IR进行三角分解；

从映射点集合P^IR中选取三个相邻且不共线的三个点构成一个三角剖分区域对待插补区域IR中的存在的所有三角剖分区域，按从左到右、从上到下顺序排序获得三角剖分区域集合K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域；

步骤c：计算三角剖分区域对应的深度曲面插补函数SFk；

其中，C_k(X)＝c₀+c₁u^IR+c₂v^IR，是二元线性多项式；X＝(u^IR,v^IR)为待插补区域IR中的图像像素点；为三角剖分区域的深度插补函数SF_k(X)的插补采样点，分别对应三角剖分区域的三个角点以及分别与三个角点直接邻接的映射点，N为插补样本点数目；λ_j(j＝1,2,L,N)为待求解的加权系数，(x_kj,y_kj)为插值节点在二维图像中图像坐标值，根据步骤2中的映射公式计算获得；z_kj为插值节点在三维图像中对应匹配图像点的深度信息，||·||为欧式范数，是径向基函数，实现二维空间IR²到一维空间IR的固定映射；

依据以下的插值约束条件求解深度曲面插补函数SF_k：

步骤d：计算待插补区域中像素点对应的空间三维信息；

对于任一三角剖分区域范围内的二维摄像机图像素点其对应的空间三维信息计算如下：

Xu,v2D=Zu,v2D(u-u03D)αx2D]]>

YC2D=Zu,v2D(v-v02D)αy2D]]>

即三角剖分区域中的二维摄像机获得的二维图像素点对应的空间三维信息为(Xu,v2D,Yu,v2D,Zu,v2D).]]>