[发明专利]基于多模态数据融合的语义分割方法、系统、装置及介质

说明书

本发明公开了一种基于多模态数据融合的语义分割方法、系统、装置及介质，其中方法包括以下步骤：获取图像数据和激光雷达的点云数据；根据图像数据将点云数据映射到图像空间；将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。本发明通过融合图像信息和点云信息，能够有效滤除图像中的干扰信息，另外，由于融合了拥有更加稠密纹理、颜色信息的2D图像数据，提高了点云分割结果的准确度，可广泛应用于智能识别技术领域。

技术领域

本发明涉及智能识别技术领域，尤其涉及一种基于多模态数据融合的语义分割方法、系统、装置及介质。

背景技术

目前，在自动驾驶和机器人等许多应用中，视觉传感器(如RGB相机)的应用至关重要。从视觉传感器中获取的RGB图像能够提供丰富的纹理、颜色信息，基于视觉传感器的应用能够精确的对物体进行分类。然而，由于视觉传感器容易受到光线的影响，越来越多的自动驾驶车辆加入了更加鲁棒的激光雷达提升感知系统的鲁棒性。相对视觉传感器而言，由激光雷达获取的点云可以提供物体在物理世界中的坐标信息，基于激光雷达的应用对光线的抗干扰能力较强。然而，由于激光雷达得到的点云数据本身缺少稠密的颜色、纹理特征，单纯基于三维点云的感知方法在细粒度语义分割上精度较低。因此，为了结合多种传感器数据的优势，在实际应用中可以考虑同时使用视觉传感器和激光雷达两种数据来进行联合感知。但是，由于视觉传感器与激光雷达所获取的数据之间存在较大的差异，如何融合多种传感器的数据目前仍有待解决。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于多模态数据融合的语义分割方法、系统、装置及介质，以实现通过融合图像信息和点云信息对三维点云预测准确度性能的提升。

本发明所采用的技术方案是：

一种基于多模态数据融合的语义分割方法，包括以下步骤：

获取图像数据和激光雷达的点云数据；

根据图像数据将点云数据映射到图像空间；

将映射后的数据输入语义分割模型进行处理，获得稠密及稀疏的预测结果，实现对点云数据的语义分割。

进一步，所述根据图像数据将点云数据映射到图像空间，包括：

根据对相机和激光雷达进行标定得到的投影矩阵，将点云数据投影到图像空间；

其中，投影后的每个点对应一个五维的特征(d,x,y,z,r)，d表示深度，r表示反射强度；深度d的计算公式为：

x,y,z表示坐标值。

进一步，所述点云语义分割方法还包括对语义分割模型进行训练的步骤，包括：

利用卷积层、批量归一化层、线性整流层和池化层构建双流网络；

在所述双流网络中插入感知损失函数，将感知损失函数与图像预测损失函数、点云预测损失函数构成目标损失函数；

根据所述目标损失函数对所述双流网络进行训练，获得语义分割模型。

进一步，所述利用卷积层、批量归一化层、线性整流层和池化层构建双流网络，包括：

利用卷积层、批量归一化层、线性整流层和池化层，为图像数据和点云数据分别构建基本深度神经网络；

在所述基本深度神经网络中插入融合模块，构建融合点云数据和图像数据的双流网络。

进一步，所述融合模块的表达式为：