[发明专利]一种基于语义分割的点云强度补全方法及系统

权利要求书

1.一种基于语义分割的点云强度补全方法，所述方法包括：

步骤1)由相机采集路面的RGB图像，由激光雷达同步采集该路面的点云数据；

步骤2)利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；

步骤3)对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理，得到二维粗粒度反射强度投影图；

步骤4)对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；

步骤5)根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。

2.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤2)具体包括：

利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维图像平面上，像素值为反射强度值，从而得到二维反射强度投影图；

利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维灰度图像的平面上，像素值为深度值，对空缺的部分以0值填补，从而得到二维深度投影图；其中，第i点的深度值为：

其中，(x_i，y_i)为点云数据中第i点的坐标值。

3.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤3)具体包括：

步骤301)对RGB图像进行剪裁，得到尺寸为(352，1216，3)的RGB图像；对二维反射强度投影图进行剪裁，得到尺寸为(352，1216，1)的二维反射强度投影图，将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352，1216，4)的二维反射强度拼接图像；

步骤302)将二维反射强度拼接图像输入预先建立和训练好的粗粒度反射强度补全子模型，得到单通道反射强度投影图；

步骤303)对RGB图像进行剪裁，得到尺寸为(352，1216，3)的RGB图像；对二维深度投影图进行剪裁，得到尺寸为(352，1216，1)的二维深度投影图；将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352，1216，4)的二维深度拼接图像；

步骤304)将二维深度拼接图像输入预先建立和训练好的深度补全子模型，得到单通道深度投影图；

步骤305)将RGB图像、单通道反射强度投影图和单通道深度投影图进行粗粒度反射强度融合处理，得到二维粗粒度反射强度投影图。

4.根据权利要求3所述的基于语义分割的点云强度补全方法，其特征在于，所述粗粒度反射强度补全子模型的输入为尺寸为(352，1216，4)的拼接图像，输出为尺寸为(352，1216，1)的单通道反射强度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；关于反射强度的损失函数Loss_rc为：

其中：n为具有有效反射强度值的像素点数目，i为具有反射强度值的像素点，R_i为粗粒度反射强度补全子模型对i点的反射强度预测值；为i点的反射强度真值。