[发明专利]一种基于多融合传感器的三维点云重建装置与方法

权利要求书

1.一种基于多融合传感器的三维点云重建方法，其特征在于，包括：

(一)利用多融合传感器装置采集点云数据，具体包括：视频图像处理单元获取目标图像，包括目标的态姿、纹理、色彩信息，激光雷达传感器获取目标的原始三维点云、位置、态姿；

(二)根据原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；

(三)对点云进行滤波，剔除杂乱点云；

(四)点云粗配准，还包括对关键点质量分析；

(五)点云精配准；

(六)点云融合与重建；

所述(三)对点云进行滤波，剔除杂乱点云，包括：步骤1，为输入的点云数据创建一个三维体素栅格，搜索所有点云的坐标值，找出X、Y、Z方向的最大值X_max、Y_max、Z_max与最小值X_min、Y_min、Z_min，确定大立方体栅格的边长L，若大立方体栅格的边长L大于预设边长L₀，则顺着X、Y、Z方向划分若干个体素栅格；步骤2，预设点云数N₀，依次比较若干个体素栅格内的点云数n与预设点云数量阈值的大小，若超过预设值，则执行步骤3，否则删除该体素栅格；步骤3，再次比较若干个小立方体栅格的边长L_i与预设边长L₀的大小，若边长大于L₀，则继续划分若干小立方体，若小于等于L₀，则遍历该体素栅格中的点，用该体素栅格的重心来近似代替体素栅格中的其他点，重心的计算公式为：其中，d_i表示点(x_i,y_i,z_i)到每个体素栅格的区域中心的距离，d_min表示距离的最小值，达到最小值时(x_i,y_i,z_i)为重心，0≤i≤n；

其中，d_j表示点(x_j,y_j,z_j)到每个体素栅格的区域重心(x₀,y₀,z₀)的距离，d_max表示距离的最大值，对应的点是所求的最远的点，max{d_j}表示{d_j}的最大值，0≤j≤n-1；步骤4，保留体素栅格内的重心点(x₀,y₀,z₀)，利用RANSAC移除错误点对，处理所有体素栅格得到滤波后点云数据，设阈值τ，若τ≤d_max，则保留符合d_j的j点，以及重心点，否则只保留重心点；

所述(四)点云粗配准，包括：提取经过滤波得到的点云3D-SIFT关键点；对关键点质量进排序，选择最优关键点，其中，关键点质量取决于关键点附近局部表面的主曲率，基于变换后的局部表面特征所含数据，进行曲面拟合，得到拟合表面并对进行n×n采样，计算关键点质量Q_k；建立KD-tree和RANSAC计算初始变换矩阵；

所述计算初始变换矩阵为：在拟合表面通过搜索所得到两个点云匹配点集P与Q，首先是三组匹配点的选取，根据选取规则，相同点云中的三个点不能处于同一条直线，即三个点可以构成三角形，选择不在同一条直线上的3个点{p₁,p₂,p₃}构建三角平面；在目标点云Q中取{p₁,p₂,p₃}的特征匹配点，计算刚体转换矩阵H＝【R,t】，R、t分别表示旋转矩阵和平移向量：其中R表示变换矩阵中的旋转矩阵，t表示变换矩阵中的平移向量，arcsin(f_p(f_q)^T)部分增加变换矩误差判断：令p和q分别表示P和Q中对应的匹配点，f_p与f_q是对应的特征，计算两组之间特征的误差e_r＝arccos(f_p(f_q)^T)，T表示转置，e_r在区间0到之间分布，0表示向量完全相同，表示特征完全不同，e_r最小时，两组为最佳匹配；计算其法向量与K-近邻点法向量的夹角θ₁,....θ_k，组成不变特征θ_i＝(θ₁,θ₂,....θ_k)^T，通过Q′＝RQ+t计算参考点集；

所述(五)点云精配准，包括：点云粗配准后，得到粗配准点云Q′，将P与Q′作为精配准的输入，Q′为由点云粗配准后得到粗配准点云；通过不断迭代，当迭代次数大于预设次数，或计算两组之间特征的误差，误差小于预设误差时，计算此时的旋转矩阵R′和平移向量t′，得到Q″＝R′Q′+t′；若点云Q″没有发生刚性形变，则输出Q″，若发生刚性形变，点云Q″和P之间存在相同点距离较远的情形，因此根据两个点云之间的对应关系，找出Q″中形变的控制点，以控制点作为计算非刚性系数的输入，建立目标表达式如下：其中，u_i是完成粗配准后的目标点云Q″中的部分点云，v_i是粗配准后的参考点云P中的部分点云，μ是弯曲能量函数，控制点云的形变程度，λ是对点云形变的容忍度，取值范围0.09～0.11；通过求解上述公式的最小值来求解线性方程组f；配准误差计算，使用相对旋转误差E_R与相对平移误差E_T测量姿态与估计姿态之间的成对误差，对应的u_i与v_i两组之间特征的误差其中，R_T是真值旋转矩阵，R_E是估计旋转矩阵，T_T是真值平移矢量，T_E是估计平移矢量；在u_i和v_i中，利用匹配特征点对之间的方向向量的夹角判断匹配点之间的正确性，设置方向向量夹角阈值，在阈值范围内，视为精确配准，完成最佳匹配，否则判断为错误点对。