[发明专利]一种基于多传感器融合用于车辆的三维重建方法

权利要求书

1.一种基于多传感器融合用于智能车辆的三维重建方法，其特征在于，包括如下步骤：

1)标定相机参数，所述相机参数包括相机内参矩阵M、相机外参旋转矩阵R_X和外参平移矩阵T_X；

2)标定激光雷达参数，所述激光雷达参数包括激光雷达外参旋转矩阵R_L、外参平移矩阵T_L；

3)相机和雷达的联合标定，计算激光雷达坐标系到相机坐标系的变换矩阵T_DC；

4)通过相机内参矩阵M、相机外参旋转矩阵R_X和外参平移矩阵T_X得到三维重建坐标系V1,通过激光雷达外参旋转矩阵R_L、外参平移矩阵T_L得到V2中的三维点坐标，其中V1为图像数据的三维重建坐标系，V2为激光点云的三维重建坐标系；

5)利用变换矩阵T_DC进行激光雷达和相机的数据融合，实现三维重建。

2.如权利要求1所述的基于多传感器融合用于智能车辆的三维重建方法，其特征在于，所述步骤1)中，标定相机参数包括如下步骤：

1.1)采集棋盘格图像；

1.2)利用采集的棋盘格图像，采用张正友标定法对相机参数进行标定。

3.如权利要求1所述的基于多传感器融合用于智能车辆的三维重建方法，其特征在于，所述步骤2)中，标定激光雷达参数包括如下步骤：

2.1)搭建车辆坐标系为xyz和雷达坐标系为XYZ；

2.2)采用RANSAC法提取出雷达坐标系中的地平面方程：Ax+By-z+C＝0；

2.3)利用激光雷达采集激光点云数据；

2.4)利用激光雷达采集的激光点云数据计算旋转矩阵R_m和平移矩阵T_m；

2.5)利用激光雷达采集的激光点云数据计算旋转矩阵R_h和平移矩阵T_h；

2.6)计算激光雷达外参旋转矩阵R_L、外参平移矩阵T_L，计算公式如下：

4.如权利要求1所述的基于多传感器融合用于智能车辆的三维重建方法，其特征在于所述步骤3)中，相机和雷达的联合标定包括如下步骤：

3.1)将标定相机内外参数的棋盘格图纸贴在定位激光雷达的墙面上，采集图像数据和激光点云数据；

3.2)搭建相机坐标系：x1y1z1；x1y1z1中z1轴为空间竖直方向、x1轴正方向指向车辆正前方、y1轴正方向指向车辆右侧、坐标原点为相机底面正中心；

3.3)利用上述采集数据计算法向量集合矩阵M_C、法向量集合矩阵M_D、距离值集合矩阵b_C、距离值集合矩阵b_D；

3.4)计算激光雷达坐标系到相机坐标系的变换矩阵T_DC，计算公式如下：

T_DC＝[R_LH T_LH]

其中：R_LH＝UV^T，UV^T是R'_LH的SVD分解后的结果，

5.如权利要求1所述的基于多传感器融合用于智能车辆的三维重建方法，其特征在于所述步骤4)包括如下步骤：

4.1)利用相机对大环境进行数据采集，得到RGB图像；

4.2)通过ORB算法对采集的RGB图像进行特征点的提取和匹配，得到二维点对集合，记为

4.3)计算V1中各三维点坐标X_3W，计算公式如下：

其中：i意指第i张图片；X_2W-二维点的齐次坐标(数据成对)；

4.4)通过激光雷达对大环境进行数据采集,得到若干点云坐标p1_i，i代表第i个点云)；

4.5)计算V2中各三维坐标P2。

6.如权利要求1所述的基于多传感器融合用于智能车辆的三维重建方法，其特征在于所述步骤5)包括如下步骤：

5.1)采用Filter法，过滤无效特征点；

5.2)将三维重建坐标系V1中有效特征点TT_i投影到V2；

5.3)采用ICP算法，求解与有效特征点TTDD_i匹配的最近点云；

5.4)计算变换矩阵T_DC2，即TT_i和DD_i之间的矩阵变换关系，计算公式如下：

其中：TT_i代表V1中第i个有效特征点坐标；DD_i代表V2中第i个有效特征点匹配的点云坐标，T′_DC2代表V1中每一个有效特征点到V2中匹配点云的变换矩阵；

5.5)实现图像层与点云层的深度融合，得到最终的三维重建，记V1中有效特征点集合包含的像素点集合为XS2，像素点投影到V2中的点集合为XS1，将像素点投影到V2中，计算公式如下：

其中：i代表第i个像素点，T_DC2代表V1中有效特征点到V2中匹配点云的变换矩阵。