[发明专利]一种基于二维和三维摄像机融合的三维视觉信息获取方法

摘要

本发明公开了一种基于二维和三维摄像机融合的三维视觉信息获取方法，该方法基于二维摄像机和三维摄像机组成复合摄像机分别对场景同步成像，通过建立三维摄像机深度图像和二维摄像机图像的匹配映射模型，求取三维摄像机深度图像像素点在二维摄像机图像中的匹配映射点和映射区域；对二维摄像机图像中的映射区域进行三角分解，并基于邻接的映射点深度信息建立三角剖分区域的深度曲面插补函数；插补计算三角剖分区域内图像像素点的深度信息，实现高分辨率二维摄像机图像对应深度图像的获取。本发明最大程度保留了二维摄像机图像信息和三维摄像机深度信息，并具有精度高和信息缺失小等优势，可广泛应用于工业视觉测量、视觉装配、机器人视觉导航等领域。

主权项

一种基于二维和三维摄像机融合的三维视觉信息获取方法，其特征在于，包括以下几个步骤：步骤1：对三维摄像机和二维摄像机组成的立体视觉系统进行标定，获取三维摄像机内参数矩阵M3D、二维摄像机内参数矩阵M2D、二维摄像机坐标系和三维摄像机坐标系之间的相对三维空间旋转变换矩阵R和空间平移关系变换矩阵T；步骤2：建立三维摄像机获得的深度图像DI与二维摄像机获得的二维彩色图像CI的映射模型；步骤3：按照步骤2建立的映射模型将深度图像DI映射到二维彩色图像CI中的映射区域中确定待插补区域IR，并对待插补区域IR进行三维信息插补计算，从而实现二维摄像机获得的图像CI与三维摄像机同步获得的空间信息的融合；所述步骤2中的映射模型为以下公式：ZC2Du2Dv2D1=ZC3DM2DRTTT0T1M3D-1u3Dv3D1]]>三维摄像机的深度图像DI中任一像素点p3D(u3D,v3D)，根据上述公式求得像素点p3D(u3D,v3D)在二维摄像机获得的二维彩色图像中对应匹配点p2D的图像坐标值(u2D,v2D)，以及该像素点对应的深度信息为三维摄像机获得的深度图像DI中的任一像素点(u3D,v3D)的深度图像值，为M3D的逆矩阵，RT为R的转置矩阵，TT为T的转置矩阵；所述步骤3的具体方法为：步骤a：获取待插补区域IR；按照步骤2建立的映射模型将三维摄像机获取的深度图像DI映射在二维摄像机获取的二维彩色图像CI中的映射点集合PIR所在的最小矩形区域IR作为待插补区域，即：IR＝CI[Xmin:Xmax,Ymin:Ymax]其中，待插补区域IR中的像素点坐标为(uIR,vIR)，Xmin＝Min[PIR.uIR]，Xmax＝Max[PIR.uIR]，Ymin＝Min[PIR.vIR]，Ymax＝Max[PIR.vIR]，PIR为三维摄像机获得的深度图像DI中的像素点在二维摄像机获得的二维彩色图像CI中对应的映射点集合步骤b：对待插补区域IR进行三角分解；从映射点集合PIR中选取三个相邻且不共线的三个点构成一个三角剖分区域对待插补区域IR中的存在的所有三角剖分区域，按从左到右、从上到下顺序排序获得三角剖分区域集合K表示待插补区域IR中存在K个三角剖分区域，表示任意一个三角剖分区域；步骤c：计算三角剖分区域对应的深度曲面插补函数SFk；其中，Ck(X)＝c0+c1uIR+c2vIR，是二元线性多项式；X＝(uIR,vIR)为待插补区域IR中的图像像素点；为三角剖分区域的深度插补函数SFk(X)的插补采样点，分别对应三角剖分区域的三个角点以及分别与三个角点直接邻接的映射点，N为插补样本点数目；λj(j＝1,2,L,N)为待求解的加权系数，(xkj,ykj)为插值节点在二维图像中图像坐标值，根据步骤2中的映射公式计算获得；zkj为插值节点在三维图像中对应匹配图像点的深度信息，||·||为欧式范数，是径向基函数，实现二维空间IR2到一维空间IR的固定映射；依据以下的插值约束条件求解深度曲面插补函数SFk：步骤d：计算待插补区域中像素点对应的空间三维信息；对于任一三角剖分区域范围内的二维摄像机图像素点其对应的空间三维信息计算如下：Xu,v2D=Zu,v2D(u-u03D)αx2D]]>YC2D=Zu,v2D(v-v02D)αy2D]]>即三角剖分区域中的二维摄像机获得的二维图像素点对应的空间三维信息为(Xu,v2D,Yu,v2D,Zu,v2D).]]>