[发明专利]基于双层配准方法的室内三维场景重建方法

权利要求书

1.一种基于双层配准方法的室内三维场景重建方法，其特征在于包括以下步骤：

步骤一，进行Kinect标定，方法如下：

（1）打印一张棋盘模板；

（2）从多个角度拍摄棋盘；

（3）检测出图像中的特征点，即棋盘的每一个黑色交叉点；

（4）求出Kinect标定的参数：

红外摄像机的内参矩阵K_ir：

Kir=fuIR0uIR0fvIRvIR001]]>

其中，(f_uIR,f_vIR)是红外摄像机的焦距，取值(5,5)，(u_IR,v_IR)是红外摄像机像平面中心坐标，取值(320,240)；

RGB摄像机的内参数矩阵K_c：

Kc=fu0u00fvv0001]]>

其中，(f_u,f_v)是RGB摄像机的焦距，(u₀,v₀)是RGB摄像机像平面中心坐标；

红外摄像机与RGB摄像机间的外部参数为：

T＝[R_IRc,t_IRc]

其中，R_IRc为旋转矩阵，t_IRc平移向量，直接使用微软官方提供的参数：

RIRc=100010001]]>

t_IRc＝[0075  0  0]^T

Kinect坐标系向上为y轴正方向，向前为z轴正方向，向右为x正方向；将Kinect的起始点位置设定为世界坐标系原点，世界坐标系的X、Y、Z方向与Kinect起始点位置的x、y、z方向相同；

步骤二，特征点的提取与匹配，方法如下：

（1）获取积分图像：对于图像中某点X＝(x,y)的积分I(X)为：

IΣ(X)=Σi=0i≤xΣj=0j≤yI(i,j)]]>

在积分图像中用3个加减运算来计算一个矩形区域的灰度值之和，与矩形的面积无关；

（2）求取近似Hessian矩阵H_approx：对于图像I中某点X＝(x,y)，在X点的s尺度上的Hessian矩阵H(X,s)定义为：

H(X,s)=Lxx(X,s)Lxy(X,s)Lxy(X,s)Lyy(X,s)]]>

其中，L_xx(X,s)、L_xy(X,s)、L_yy(X,s)表示高斯二阶偏导数在X处与图像I的卷积；使用方框滤波近似代替Hessian矩阵中的二阶高斯滤波，框状滤波模板同图像卷积后的值分别为D_xx、D_yy、D_xy，进一步用它们代替L_xx、L_yy、L_xy得到近似Hessian矩阵H_approx，其行列式为：

det(H_approx)＝D_xxD_yy-(wD_xy)²

其中，w是权重系数；

（3）定位特征点：SURF的特征点检测基于Hessian矩阵，根据Hessian矩阵行列式的局部最大值定位特征点位置；

用不同尺寸的框状滤波器对原始图像进行处理得到尺度图像金字塔，根据H_approx求出尺度图像在(X,s)处的极值；

使用框状滤波器构建尺度空间，在每一阶中，选择4层的尺度图像，用H_approx矩阵求出极值，在3维(X,s)尺度空间中，对每个3×3×3的局部区域进行非极大值抑制；将响应值大于26个邻域值的点选为特征点；利用二次拟合函数对特征点精确定位，拟合函数D(X)为：

D(X)=D+∂DT∂XX+12XT∂D∂X2X]]>

从而得到特征点的位置、尺度信息(X,s)；

（4）确定特征点的方向特征：用Haar小波滤波器对圆形邻域进行处理，得到该邻域内每个点所对应的x、y方向的响应；选取以特征点为中心的高斯函数，σ取2s，s为该特征点对应的尺度，对这些响应进行加权，搜索长度最大的矢量，其方向即为该特征点所对应的方向；

（5）构建特征描述向量：以特征点为中心确定一个正方形的邻域，边长取20s，把特征点方向设定为该邻域的y轴方向；把正方形区域分成4×4个子区域，在每一个子区域中用Haar小波滤波器进行处理，Haar小波模板尺寸为2s×2s；用d_x表示水平方向的Haar小波响应，用d_y表示竖直方向的Haar小波响应，对于所有的d_x、d_y用以特征点为中心的高斯函数加权，该高斯函数的σ为3.3s；在每个子区域分别对d_x、d_y、d_x|、d_y|求和，得到一个4维向量V(∑d_x,∑d_y,∑d_y|,∑d_y|)，把4×4个子区域的向量连接起来就得到了一个64维的向量，该向量具有旋转、尺度不变性，归一化后，具有光照不变性；该向量即为描述特征点的特征向量；

（6）特征匹配：采用基于欧氏距离的最近邻法，利用K-D树在待匹配的图像中搜索，找到与基准图像中的特征点欧式距离最近的前两个特征点，如果最近距离除以次近距离得到的值小于设定的比例阈值，则接受这一对匹配点；

步骤三，图像匹配点到三维坐标映射，方法如下：

求深度图像中一点p＝(x_d,y_d)在Kinect坐标系下的坐标P_3D＝(x,y,z)：

P3D.x=(xd-uIR)×P3D.z/fuIRP3D.y=(yd-vIR)×P3D.z/fvIRP3D.z=depth(xd,yd)]]>

其中，depth(x_d,y_d)表示深度图像中点p的深度值；

由RGB图像像素所对应的3D坐标求出在RGB图像中的坐标(x_rgb,y_rgb)：

xrgb=(P3D′.x*fu/P3D′.z)+u0yrgb=(P3D′.y*fv/P3D′.z)+v0]]>

其中，P′_3D^T＝R_IRc*P_3D^T+t_IRc；

根据上述换算关系，将步骤二中得到的匹配点对换算到三维空间点对；

步骤四，基于RANSAC与ICP方法的三维空间点双层配准，方法如下：

（1）初次配准：在初次配准阶段应用RANSAC去除误匹配的三维空间点对，通过迭代找到满足变换模型的最大内点集并估计出变换矩阵T；累积KeyFrame到当前数据的每一相对变换矩阵，获得当前Kinect相对KeyFrame的变换矩阵；根据该矩阵计算出Kinect的平移量和旋转角度模值，与设定的阈值进行比较，判断是否选取该帧为KeyFrame；

（2）精确配准：为获取k时刻Kinect位姿根据Kinect坐标系与世界坐标系的转换关系，建立如下能量函数：

E=minΣpk∈Ω|Tcwkpw-pk|]]>

其中，p_w为世界坐标系下的点，p^k为当前坐标系下的点，Ω为k时刻图像平面中具有有效深度值的像素点的集合，即：

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，M（X）为描述所获取深度图中有效信息与无效信息的函数：

其中，X为像平面坐标点；

假设在k-1时刻和k时刻Kinect的偏移量为则：

Tcwk=TinckTcwk-1]]>

当Kinect在x,y,z轴方向上的旋转量(α,β,γ)以及在三个方向上的平移量为(t_x,t_y,t_z)足够小时，根据一阶泰勒公式展开，令x＝(α,β,γ,t_x,t_y，t_z)，则：

Tinck=exp(x)]]>

=1γ-β-γ1αβ-α1txtytz]]>

=[Rinc|tinc]]]>

对于第k时刻所获取空间点的世界坐标为将该点投影到k-1时刻时Kinect的坐标系下，能量函数变换为：

E=minΣpk∈Ω||Tcwkpw-pk||]]>

Σpl∈Ω||TinckTcwk-1pw-pk||]]>

=minΣpk∈Ω||Tinckpwk-1pk||]]>

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，p_w和p^k为对应点，为p_w在第k-1时刻相机坐标系下的坐标；

由

Tinckpwk-1=Rincpwk-1+tinc=G(pwk-1)x+pwk-1]]>

得到能量函数的最终表示：

minx∈se(3)ΣΩ||G(pwk-1)x+pwk-1pk||]]>

Ω＝{p^k|u＝π(p^k)且M(u)＝1}

其中，G(pwk-1)=[[pwk-1]×|I3×3],[pwk-1]×]]>为由构成的反对称矩阵；

设定能量函数的阈值，利用Cholesky分解得到六元组解x＝(α,β,γ,t_x,t_y,t_z)，映射到Lie群中的特殊欧式群SE(3)空间，并结合k-1时刻Kinect的位姿即可获得当前Kinect位姿；

步骤五，场景更新，方法如下：

场景的更新分为两种情况，一种是第一次进行场景更新，此时将Kinect的位置设定为世界坐标系的原点，并加入当前获取的场景数据；另一种是新增一帧KeyFrame数据，根据式将当前新增KeyFrame数据转换到世界坐标系中，完成场景数据的更新。

2.根据权利要求1所述的基于双层配准方法的室内三维场景重建方法，其特征在于，步骤四所述的应用RANSAC求变换矩阵T的方法如下：

（1）从来自基准点集A和待配准点集B的初始N对三维匹配点对中随机选取7对数据；

（2）利用基础矩阵求解最小配置7点法，由选取的7对数据计算基准点集和待配准点集数据的变换矩阵T^AB；

（3）利用变换矩阵T^AB将待配准图像的特征点集合中剩余的N-7个三维点变换到基准点云坐标系下；

（4）计算变换后的点集P′_N-7与基准点集之间的坐标误差；

（5）从N对匹配点对中找出坐标误差在一定阈值内的特征点对个数，记为i；

（6）重复（1）~（5）n次，使i值取得最大的集合为最大内点集，即为内点，其余N-i为误匹配点，即为外点；利用最大内点集估计出变换模型的最小二乘解，作为当前相邻两帧数据的变换矩阵T。