[发明专利]基于双层配准方法的室内三维场景重建方法

摘要

本发明属于计算机视觉与智能机器人的交叉领域，涉及一种基于双层配准方法的大范围室内场景的重建方法。解决了现有室内场景重建方法所需设备昂贵、计算复杂度高和实时性差的问题。该方法包括：Kinect标定，SURF特征点提取与匹配，特征点对到三维空间点对的映射，基于RANSAC与ICP方法的三维空间点双层配准，更新场景。本发明采用Kinect获取环境数据，基于RANSAC和ICP，提出双层配准方法，实现经济快速的室内三维场景重建，有效提高重建算法的实时性和重建精度。该方法可适用于服务机器人领域及其他与三维场景重建有关的计算机视觉领域。

主权项

1.一种基于双层配准方法的室内三维场景重建方法，其特征在于包括以下步骤：步骤一，进行Kinect标定，方法如下：（1）打印一张棋盘模板；（2）从多个角度拍摄棋盘；（3）检测出图像中的特征点，即棋盘的每一个黑色交叉点；（4）求出Kinect标定的参数：红外摄像机的内参矩阵K_ir：Kir=fuIR0uIR0fvIRvIR001]]>其中，(f_uIR,f_vIR)是红外摄像机的焦距，取值(5,5)，(u_IR,v_IR)是红外摄像机像平面中心坐标，取值(320,240)；RGB摄像机的内参数矩阵K_c：Kc=fu0u00fvv0001]]>其中，(f_u,f_v)是RGB摄像机的焦距，(u₀,v₀)是RGB摄像机像平面中心坐标；红外摄像机与RGB摄像机间的外部参数为：T＝[R_IRc,t_IRc]其中，R_IRc为旋转矩阵，t_IRc平移向量，直接使用微软官方提供的参数：RIRc=100010001]]>t_IRc＝[0075  0  0]^TKinect坐标系向上为y轴正方向，向前为z轴正方向，向右为x正方向；将Kinect的起始点位置设定为世界坐标系原点，世界坐标系的X、Y、Z方向与Kinect起始点位置的x、y、z方向相同；步骤二，特征点的提取与匹配，方法如下：（1）获取积分图像：对于图像中某点X＝(x,y)的积分I(X)为：IΣ(X)=Σi=0i≤xΣj=0j≤yI(i,j)]]>在积分图像中用3个加减运算来计算一个矩形区域的灰度值之和，与矩形的面积无关；（2）求取近似Hessian矩阵H_approx：对于图像I中某点X＝(x,y)，在X点的s尺度上的Hessian矩阵H(X,s)定义为：H(X,s)=Lxx(X,s)Lxy(X,s)Lxy(X,s)Lyy(X,s)]]>其中，L_xx(X,s)、L_xy(X,s)、L_yy(X,s)表示高斯二阶偏导数在X处与图像I的卷积；使用方框滤波近似代替Hessian矩阵中的二阶高斯滤波，框状滤波模板同图像卷积后的值分别为D_xx、D_yy、D_xy，进一步用它们代替L_xx、L_yy、L_xy得到近似Hessian矩阵H_approx，其行列式为：det(H_approx)＝D_xxD_yy-(wD_xy)²其中，w是权重系数；（3）定位特征点：SURF的特征点检测基于Hessian矩阵，根据Hessian矩阵行列式的局部最大值定位特征点位置；用不同尺寸的框状滤波器对原始图像进行处理得到尺度图像金字塔，根据H_approx求出尺度图像在(X,s)处的极值；使用框状滤波器构建尺度空间，在每一阶中，选择4层的尺度图像，用H_approx矩阵求出极值，在3维(X,s)尺度空间中，对每个3×3×3的局部区域进行非极大值抑制；将响应值大于26个邻域值的点选为特征点；利用二次拟合函数对特征点精确定位，拟合函数D(X)为：D(X)=D+∂DT∂XX+12XT∂D∂X2X]]>从而得到特征点的位置、尺度信息(X,s)；（4）确定特征点的方向特征：用Haar小波滤波器对圆形邻域进行处理，得到该邻域内每个点所对应的x、y方向的响应；选取以特征点为中心的高斯函数，σ取2s，s为该特征点对应的尺度，对这些响应进行加权，搜索长度最大的矢量，其方向即为该特征点所对应的方向；（5）构建特征描述向量：以特征点为中心确定一个正方形的邻域，边长取20s，把特征点方向设定为该邻域的y轴方向；把正方形区域分成4×4个子区域，在每一个子区域中用Haar小波滤波器进行处理，Haar小波模板尺寸为2s×2s；用d_x表示水平方向的Haar小波响应，用d_y表示竖直方向的Haar小波响应，对于所有的d_x、d_y用以特征点为中心的高斯函数加权，该高斯函数的σ为3.3s；在每个子区域分别对d_x、d_y、d_x|、d_y|求和，得到一个4维向量V(∑d_x,∑d_y,∑d_y|,∑d_y|)，把4×4个子区域的向量连接起来就得到了一个64维的向量，该向量具有旋转、尺度不变性，归一化后，具有光照不变性；该向量即为描述特征点的特征向量；（6）特征匹配：采用基于欧氏距离的最近邻法，利用K-D树在待匹配的图像中搜索，找到与基准图像中的特征点欧式距离最近的前两个特征点，如果最近距离除以次近距离得到的值小于设定的比例阈值，则接受这一对匹配点；步骤三，图像匹配点到三维坐标映射，方法如下：求深度图像中一点p＝(x_d,y_d)在Kinect坐标系下的坐标P_3D＝(x,y,z)：P3D.x=(xd-uIR)×P3D.z/fuIRP3D.y=(yd-vIR)×P3D.z/fvIRP3D.z=depth(xd,yd)]]>其中，depth(x_d,y_d)表示深度图像中点p的深度值；由RGB图像像素所对应的3D坐标求出在RGB图像中的坐标(x_rgb,y_rgb)：xrgb=(P3D′.x*fu/P3D′.z)+u0yrgb=(P3D′.y*fv/P3D′.z)+v0]]>其中，P′_3D^T＝R_IRc*P_3D^T+t_IRc；根据上述换算关系，将步骤二中得到的匹配点对换算到三维空间点对；步骤四，基于RANSAC与ICP方法的三维空间点双层配准，方法如下：（1）初次配准：在初次配准阶段应用RANSAC去除误匹配的三维空间点对，通过迭代找到满足变换模型的最大内点集并估计出变换矩阵T；累积KeyFrame到当前数据的每一相对变换矩阵，获得当前Kinect相对KeyFrame的变换矩阵；根据该矩阵计算出Kinect的平移量和旋转角度模值，与设定的阈值进行比较，判断是否选取该帧为KeyFrame；（2）精确配准：为获取k时刻Kinect位姿根据Kinect坐标系与世界坐标系的转换关系，建立如下能量函数：E=minΣpk∈Ω|Tcwkpw-pk|]]>其中，p_w为世界坐标系下的点，p^k为当前坐标系下的点，Ω为k时刻图像平面中具有有效深度值的像素点的集合，即：Ω＝{p^k|u＝π(p^k)且M(u)＝1}其中，M（X）为描述所获取深度图中有效信息与无效信息的函数：其中，X为像平面坐标点；假设在k-1时刻和k时刻Kinect的偏移量为则：Tcwk=TinckTcwk-1]]>当Kinect在x,y,z轴方向上的旋转量(α,β,γ)以及在三个方向上的平移量为(t_x,t_y,t_z)足够小时，根据一阶泰勒公式展开，令x＝(α,β,γ,t_x,t_y，t_z)，则：Tinck=exp(x)]]>=1γ-β-γ1αβ-α1txtytz]]>=[Rinc|tinc]]]>对于第k时刻所获取空间点的世界坐标为将该点投影到k-1时刻时Kinect的坐标系下，能量函数变换为：E=minΣpk∈Ω||Tcwkpw-pk||]]>Σpl∈Ω||TinckTcwk-1pw-pk||]]>=minΣpk∈Ω||Tinckpwk-1pk||]]>Ω＝{p^k|u＝π(p^k)且M(u)＝1}其中，p_w和p^k为对应点，为p_w在第k-1时刻相机坐标系下的坐标；由Tinckpwk-1=Rincpwk-1+tinc=G(pwk-1)x+pwk-1]]>得到能量函数的最终表示：minx∈se(3)ΣΩ||G(pwk-1)x+pwk-1pk||]]>Ω＝{p^k|u＝π(p^k)且M(u)＝1}其中，G(pwk-1)=[[pwk-1]×|I3×3],[pwk-1]×]]>为由构成的反对称矩阵；设定能量函数的阈值，利用Cholesky分解得到六元组解x＝(α,β,γ,t_x,t_y,t_z)，映射到Lie群中的特殊欧式群SE(3)空间，并结合k-1时刻Kinect的位姿即可获得当前Kinect位姿；步骤五，场景更新，方法如下：场景的更新分为两种情况，一种是第一次进行场景更新，此时将Kinect的位置设定为世界坐标系的原点，并加入当前获取的场景数据；另一种是新增一帧KeyFrame数据，根据式将当前新增KeyFrame数据转换到世界坐标系中，完成场景数据的更新。