[发明专利]多传感器数据融合方法、装置、电子设备和介质

说明书

本公开的实施例公开了多传感器数据融合方法、装置、电子设备和介质。该方法的一具体实施方式包括：获取目标区域内的点云数据集合和车载单目摄像机拍摄的图像；对图像进行特征提取以生成图像特征图；对目标区域进行网格划分以生成子目标区域集合；确定每个子目标区域内的点云数据的均值以生成点云数据均值信息；生成点云数据特征信息集合；确定每个点云数据特征信息对应的点云数据在图像特征图中的映射坐标；生成拼接特征信息；生成融合特征信息；生成障碍物检测信息；将障碍物检测信息发送至目标显示终端以及在目标显示终端上进行显示。该实施方式减少了计算资源的浪费，提高了障碍物信息生成的准确度。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及多传感器数据融合方法、装置、电子设备和介质。

背景技术

在自动驾驶领域，由于不同传感器具有不同的优势和局限性。因此，对障碍物进行检测时往往需要多种传感器协同感知。目前，现有技术往往是通过不同的感知算法对各个传感器获取的信息进行障碍物检测。然后，将识别到的障碍物信息通过融合算法进行融合。进而，得到最终的障碍物信息。

然而，当采用上述方式进行多传感器数据融合时，经常会存在如下技术问题：

第一，需要通过不同的感知算法对从不同传感器获得的数据进行障碍物检测，然后，再通过融合算法将得到的多个障碍物信息进行融合以生成最终障碍物信息，此种方法需要多套算法进行数据处理，步骤繁琐，且造成了计算资源的浪费；

第二，在生成最终障碍物信息时，是对得到的多个障碍物信息进行融合，而不是对数据特征进行融合，由于障碍物信息中包含的数据特征较少，可能导致最终得到的障碍物信息不够准确；

第三，实际情况中，自动驾驶车辆在行驶过程中的前后两侧的点云数据更加重要，车身两侧的点云数据相对重要程度较低，现有技术往往是通过传感器获取车辆周围的全部点云数据，而未抛弃相对不重要的点云数据，使得在计算过程中包含了较多的不重要的点云数据，使得计算效率不够高。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了多传感器数据融合方法、装置、电子设备和介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种多传感器数据融合方法，该方法包括：获取目标区域内的点云数据集合和车载单目摄像机拍摄的图像，其中，上述点云数据包括：横坐标值、纵坐标值和竖坐标值；对上述图像进行特征提取以生成图像特征图；对上述目标区域进行网格划分以生成子目标区域集合；确定上述子目标区域集合中每个子目标区域内的点云数据的均值以生成点云数据均值信息，得到点云数据均值信息集合；基于上述子目标区域集合、上述点云数据均值信息集合和上述点云数据集合，生成点云数据特征信息集合；确定上述点云数据特征信息集合中的每个点云数据特征信息对应的点云数据在上述图像特征图中的映射坐标，得到映射坐标集合；将上述点云数据特征信息集合中每个点云数据特征信息与对应的图像特征进行特征拼接，以生成拼接特征信息，得到拼接特征信息集合，其中，上述图像特征是上述图像特征图中坐标和上述点云数据特征信息对应的映射坐标相同的特征；将上述拼接特征信息集合输入至特征融合模型以生成融合特征信息。