[发明专利]一种基于语义分割的点云强度补全方法及系统

说明书

本发明公开了一种基于语义分割的点云强度补全方法及系统，该方法包括：由相机和激光雷达同步采集路面的RGB图像和点云数据；利用转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；对RGB图像和二维反射强度投影图经反射强度补全得到单通道反射强度投影图；对RGB图像和二维深度投影图经深度补全得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理，得到二维粗粒度反射强度投影图；对RGB图像和二维深度投影图经语义分割处理，得到若干个待补全区域；根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全得到二维反射强度投影补全图。

技术领域

本发明属于无人驾驶领域，尤其涉及一种基于语义分割的点云强度补全方法及系统。

背景技术

激光雷达是无人驾驶数据采集的主要工具，在无人车车项的激光雷达，一般有16/32/64/128线激光雷达，激光雷达的成本随着线数的增加而增加，但少线束的激光雷达收集到的点云较少，稀疏的点云难以用于高精度计算。

此外，在实际采集时，激光雷达返回光束的能量受到距离和传播介质的影响。远距离的物体无法返回光束或返回光束能量低于探测阈值；此外受到大气中微观粒子的影响，雨雪雾等气象条件会造成激光雷达发射的光束能量损耗，造成物体无法返回光束或返回光束能量低于探测阈值。这两种情况最终会导致接收器无法接收信号、接收信号被削弱或掺杂噪声。

当前的点云补全工作主要有如下局限：(1)局限于局部对象的点云补全，特别是室内场景或者单个物体的补全；(2)局限于局部依赖的补全，即基于相邻区域进行插值，缺乏对更大范围的具有相同语义的区域的参考；(3)在大型整体场景的补全工作中，注重的是深度补全工作，而针对反射强度补全工作研究较少。但是在反射强度值中，可以折射出物体之间的不同物理属性，例如车身和车轮，道路和树干。其次，补全的反射强度值可以为下游任务语义分割或者实例分割提供更多的有效信息，提高下游任务的精度。

在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：

点云：是指通过激光雷达d等测量仪器得到的关于物体外观表面的点数据，每个点数据包含x、y、z坐标，深度以及反射强度信息。

RGB图像：是指通过单目相机采集得到的彩色图像，为三通道图像。

二维点云反射强度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的反射强度值。

二维点云深度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的深度值。

标签：表示用于语义分割神经网络监督训练的类别标签，对每个像素点的类别进行了标注。

发明内容

本发明的目的在于克服现有技术缺陷，提出了一种基于语义分割的点云强度补全方法及系统。

为了实现上述目的，本发明提出了一种基于语义分割的点云强度补全方法，所述方法包括：

步骤1)由相机采集路面的RGB图像，由激光雷达同步采集该路面的点云数据；

步骤2)利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；

步骤3)对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；

步骤4)对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；