[发明专利]一种基于双目RGB图像的3D点云稠密化方法和装置

权利要求书

1.一种基于双目RGB图像的3D点云稠密化方法，其特征在于，包括：

步骤1，由双目RGB图像生成深度图像；根据所述深度图像的深度信息，估计所述深度图像的每个像素点在LiDAR坐标系下的大致三维坐标点；

步骤2，使用循环RANSAC算法进行点云的地面分割，并提取非地面点云；

步骤3，将提取的所述非地面点云插入KDTree，根据所述每个像素点在LiDAR坐标系下的大致三维坐标点，在KDTree中搜索预定数量的近邻点，利用所述近邻点进行曲面重建；

步骤4，根据曲面重建结果和LiDAR与相机的标定参数，由计算几何方法导出所述大致三维坐标点的精确坐标点，并将所述精确坐标点与原始LiDAR点云进行融合，得到稠密化点云。

2.根据权利要求1所述的方法，其特征在于，还包括：

步骤5，使用AVOD和AVOD-FPN，在所述稠密化点云上进行3D目标检测。

3.根据权利要求2所述的方法，其特征在于，所述步骤1包括：

由一对基线距离为b的相机所拍摄到的左右两幅图像I_l和I_r作为输入，应用DeepPruner算法进行视差估计；

生成的视差图Y以左侧相机图像I_l为参考，记录右侧相机图像I_r相对于左侧相机图像I_l在水平方向上的视差，对应的深度图像由公式(1)计算得到；

其中D(u,v)和Y(u,v)分别代表I_r图像坐标系下像素(u,v)的深度和视差，f_U为相机在水平方向上的像素焦距；

基于深度信息，由公式(3)(4)(5)计算出I_l中每个像素(u，v)在参考相机畸变矫正后的世界坐标系下的大致三维坐标点(x_(u，v)，y_(u，v)，z_(u，v))，记作g(u，v)；

g(u，v)＝(x_(u，v)，y_(u，v)，z_(u，v))#(2)

z_(u，v)＝D(u，v)#(5)

其中，b表示左侧相机与右侧相机的基线距离，(c_U，c_V)代表光心在图像上投影的像素坐标，f_U和f_V分别为水平和竖直像素焦距，b_x和b_y分别为左侧相机相对于参考相机的水平基线距离和竖直基线距离；

根据LiDAR和相机的标定参数，利用公式(7)将每个像素在畸变矫正后参考相机坐标系下的大致坐标g(u，v)转化为LiDAR坐标系下的大致三维坐标点(X_(u，v)，Y_(u，v)，l_(u，v))，记作G(u，v)；

G(u，v)＝(X_(u，v)，Y_(u，v)，Z_(u，v))#(6)

其中是参考相机的纠正旋转矩阵，T_v2c是激光雷达坐标系到畸变矫正前参考相机坐标系的投影矩阵。