[发明专利]基于RGBD多传感器融合的场景三维重建方法

摘要

本发明公开了一种基于RGBD多传感器融合的场景三维重建方法，用于解决现有场景三维重建方法重建速度低的技术问题。技术方案是首先采用SURF算法代替SIFT算法进行特征匹配，其次，根据观察中心的方法改进了子地图的划分标准，使得经多层图抽象后的图像金字塔更好的反映环境的拓扑结构，更有助于提高构建大场景三维地图的速度。同时，在地图生成部分，提出了使用经典的基于空间体的多帧融合方法来减少冗余点，提高了重建速度。经测试，本发明方法的重建速度比背景技术提高了近两倍。

主权项

1.一种基于RGBD多传感器融合的场景三维重建方法，其特征在于包括以下步骤：步骤一、采用SURF算法进行特征提取与匹配；特征的提取利用计算近似的Hessian矩阵的行列式的极值来确定特征点的位置；输入一幅图像I，对图上每一个像素点x=（x，y），利用公式（1）计算出其在x处尺度为σ的Hessian矩阵H(X,σ);H(x,σ)=Lxx(x,σ)Lxy(x,σ)Lxy(x,σ)Lyy(x,σ)---(1)]]>其中，L_xx(x，σ)是Gaussian二阶偏导数在x处对图像I的卷积；继而，计算每个H的行列式：det(H_approx)=D_xxD_yy-(0.9D_xy)² (2)其中，D_xx是盒子模版与图像的卷积，用D_xx近似代替L_xx;接着，判断行列式（2）的符号；若符号为负，则不是局部极值点；若符号为正，则该点归类为极值点；接着，构建图像的尺度空间，SURF通过不同尺寸盒子作为过滤模版和积分图像求取Hessian矩阵行列式的响应图像，然后，在响应图像上采用3D非极大值抑制，求取各个不同尺度的斑点；使用3×3×3的模版在三维空间内进行非极大值抑制，根据预设的Hessian阈值H比较，当h大于H，且比邻近的26个点的相应值都大时，被选为特征点，然后采用三维线性插值使其更精确；以特征点为中心，以6s为半径的圆内，对图像进行Haar小波响应运算，设计一个以方向为中心，张角为PI/3d的扇形滑动窗口，以步长为0.2弧度，转动滑动窗口，并对窗口内所有点的Haar响应值进行累加，主方向为最大的Haar响应累加值对应的方向；进行特征点的匹配；1）在计算H矩阵的行列式时，同时计算出矩阵的迹；按亮度不同，将特征点分为两种：①特征点及其周围小邻域的亮度大于背景区域，H矩阵的迹为正；②特征点及其周围小邻域的亮度小于背景区域，H矩阵的迹为负；先对两个特征点的H矩阵的迹进行比较：同号，说明两个特征点具有相同对比度；异号，说明对比度不同，则放弃步骤2）的相似性度量；2）在步骤1）的基础上，对两个特征点描述子的相似性度量，采用欧式距离进行计算：Disij=∑k=0k=n(Xik-Xjk)21/2---(3)]]>其中，X_ik表示待配准图中第i个特征描述子的第k个元素，X_jk表示参考图中第j个特征描述子的第k个元素，n表示特征向量的维数；对于待配准图上的特征点，计算其到参考图像上所有特征点的欧式距离，得到一个距离集合；通过对距离集合进行比较运算得到小欧式距离和次欧式距离；设定阈值，当最小欧式距离与次欧式距离的比值小于该阈值时，认为特征点与对应最小欧式距离的特征点是匹配的，否则，没有点与该特征点相匹配；步骤二、针对位姿估计和优化的三维重建中点云数据配准问题，先采用RANSAC配准算法进行粗匹配，并结合深度信息进行初始位姿估计，将计算出结果作为ICP配准算法的初始值，再使用深度信息进行ICP算法对初始位姿的优化实现由粗到细的配准；1）利用RANSAC算法划分出局外点和局内点，剔除匹配异常点，将得到的所有局内点随机建立点云集合，先进行粗匹配，设得到的两个点集分别是S和T，从源数据集S中随机抽取不在一条直线上的三个点｛S_a，S_b，S_c｝，在目标点集T中，搜索对应的三个点｛T_a，T_b，T_c｝,利用三对控制点进行欧式变换矩阵的估计，计算出H_c；然后计算在估计变换关系H_c误差阈值δ下，两个点集之间的一致程度，并利用对应点的深度信息得到初始位姿的估计；2）以步骤1）的结果作为ICP算法的输入，避免单调收敛到局部最小值，根据最小化目标函数估计配准参数Hk=RkTk01,]]>并计算估计误差d_k;使用变换矩阵H_k对数据集P_k更新，P_k+1＝H_k(P₀)＝Ｒ_kP₀+T_k;重复迭代，当两次计算的估计误差变化小于阈值τ时，即‖d_k-d_k+1‖＜τ时，停止；步骤三、得到经优化的初始位姿后，将其作为节点，与其相邻的帧间的位姿关系作为边添加到图中，进而采用Hog-man图优化算法进行地图的全局优化，得到高精度的三维地图；将相机观察中心的距离值作为标准将原始的图划分为多个子图，以子图中的一个节点来表示该子图，得到原始图一层的抽象，对得到的图再依次进行抽象，就得到一个多层图结构，提取出原始图中的拓扑结构；IP=P0d01T---(4)]]>其中，O为摄像机中心，IP为兴趣中心点，d为IP到O的距离；当有新节点加入到图中时，首先是加入到原始图中，然后查看是否改变子图划分，如果有改变就需要更新高层图，同时对最顶层进行优化，只有当顶层的拓扑结构发生很大改变的时候才由顶层图向底层图反向传递，更新底层图；在对多帧点云数据进行融合时，首先建立一个包含所有帧的空间体，然后依次对每一帧进行处理，修改空间像素点的值；最后空间体中的零值像素即为最后的曲面上的点，这样得到的曲面是具有最小二乘性质的曲面；采用权值函数进行距离值叠加，最后的叠加方程如公式(5)、公式(6)；Di+1(x)=W1(x)D1(x)+Wi-1(x)Di-1(x)W1(x)+Wi-1(x)---(5)]]>W_i+1(x)=W_i(x)+W_i-1(x) (6)W(x)=x-x*Err(x*)---(7)]]>E_rr(dist)-dist²×0.0035 (8)根据Kinect传感器的误差方程(8)权值函数的选取公式(7)；其中，x*为单帧曲面上点的到相机中心的距离，最后得到整个场景的三维重建效果图。