[发明专利]一种3D语义分割的方法及终端

说明书

本发明公开了一种3D语义分割的方法，通过摄像机获取待测场景的2D图像，利用Mask‑Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；通过雷达获取待测场景雷达点云图；根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像明显提高了3D语义分割的速度，并且由于2D语义分割的技术Mask‑Rcnn发展时间更久，较为成熟，相较于直接对3D图像进行语义分割，其结果也更加准确，同时利用雷达提供待测图像的三维信息，成功实现2D语义分割图像到3D语义分割图像的转化，并且雷达测量所得的数据精度高，能够保证转化之后3D语义分割图像的精度，最终实现高效准确地进行3D语义分割。

技术领域

本发明涉及图像处理领域，尤其涉及一种3D语义分割的方法及终端。

背景技术

无人驾驶系统中，基本需要激光雷达作为主要传感器，用来局部定位和建图。视觉传感器(摄像头)用来对物体进行识别和语义分割，同时辅助激光雷达定位。一般来说，对于识别到的物体都需要获取三维的尺度信息，才能够为决策系统提供足够的必要输入信息。现今的3D语义分割主要是运用3D信息，通过神经网络对3D图像上的物体进行分类和分割边缘，其中，3D信息通常以点云的形式提供尺度数据。主要实现步骤包括：运用CNN架构提取3D数据中的特征点，在其卷积层对数据进行处理，由任务层提供特定的目标函数，进行3D数据的语义分割一般需要定义多任务，如分类和语义分割。但是，3D的语义分割要求实时性，需要昂贵的硬件做支持，另外，直接对3D点云进行运算的速度较慢，神经网络架构在执行多任务时的精度也不高。

发明内容

本发明所要解决的技术问题是：提供一种3D语义分割的方法及终端，能够快速准确地实现对待测场景的3D语义分割。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种3D语义分割的方法，包括步骤：

S1、通过摄像机获取待测场景的2D图像，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；

S2、通过雷达获取待测场景雷达点云图；

S3、根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种3D语义分割的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、通过摄像机获取待测场景的2D图像，利用Mask-Rcnn对所述2D图像进行2D语义分割，获得2D语义分割图像；

S2、通过雷达获取待测场景雷达点云图；

S3、根据所述2D语义分割图像和雷达点云图，生成3D语义分割图像。

本发明的有益效果在于：利用摄像头拍摄的2D图像结合雷达提供的点云图，实现待测场景的3D语义分割，此过程只需要计算二维数据，减少了参数的输入量，提高了进行语义分割的速度，保证了测量提供数据的实时性；同时2D图像的语义分割技术Mask-Rcnn比较成熟，在此框架上进行语义分割操作得到的结果精度高，配合雷达提供的点云图中的尺度信息和深度信息，能够得到较精准的3D语义分割结果，达到高效准确对待测场景进行3D语义分割的目的。

附图说明

图1为本发明实施例的一种3D语义分割的方法的步骤流程图；

图2为本发明实施例的一种3D语义分割的终端的结构示意图；

图3为本发明实施例的一种3D语义分割的方法的过程示意图；

标号说明：

1、一种3D语义分割的终端；2、处理器；3、存储器；