[发明专利]一种3D语义分割的方法及终端

权利要求书

1.一种3D语义分割的方法，其特征在于，包括步骤：

S1、通过摄像机获取待测场景的2D图像，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；

S2、通过雷达获取待测场景雷达点云图；

S3、根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像。

2.根据权利要求1所述的一种3D语义分割的方法，其特征在于，所述S1中，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像，具体为：

将所述2D图像通过卷积神经网络，识别出所述2D图像中待分割物体的特征，将所述2D图像分割为第一图像集合；

将所述第一图像集合通过RPN，识别所述第一图像集合中每一个待分割物体的区域，将所述第一图像集合中的图像分割为第二图像集合；

将所述第二图像集合通过ROI Align获取每一个待分割物体的像素集合及其类别；

根据每一个待分割物体的像素集合及其类别，对所述2D图像中的待分割物体进行分类和坐标估计，并分割出所述2D图像中的待分割物体，得到所述2D语义分割图像。

3.根据权利要求1所述的一种3D语义分割的方法，其特征在于，所述S3包括：

S31、将所述2D语义分割图像中像素点与所述雷达点云图中像素点进行匹配，若雷达点云图中有所述像素点的匹配点，则确定所述像素点为匹配像素点，其余像素点为未匹配像素点；

S32、根据雷达坐标系提供的深度信息，获取匹配像素点的深度信息；

S33、根据针孔摄像机模型和所述匹配像素点的深度信息，计算得到所述未匹配像素点的深度信息；

S34、根据所述2D语义分割图像和所述2D语义分割图像中每一个像素点对应的深度信息生成3D语义分割图像。

4.根据权利要求3所述的一种3D语义分割的方法，其特征在于，所述步骤S33包括：

确定所述2D语义分割图像上的像素点在相机坐标系下的坐标与所述雷达提供的坐标之间的第一映射关系；

确定所述雷达提供的坐标与所述2D语义分割图像上的像素点的坐标之间的第二映射关系；

确定所述2D语义分割图像上的像素点归一化的坐标与所述2D语义分割图像上的像素点的坐标之间的第三映射关系；

根据所述雷达提供的第一坐标、所述2D语义分割图像上的匹配像素点的第二坐标、所述2D语义分割图像上的匹配像素点归一化后的第三坐标、所述第一映射关系、第二映射关系、第三映射关系、所述2D语义分割图像上的未匹配像素点的坐标和针孔摄像机模型，得到所述未匹配像素点的深度信息。