[发明专利]多传感器数据融合方法、装置、电子设备和介质

权利要求书

1.一种多传感器数据融合方法，包括：

获取目标区域内的点云数据集合和车载单目摄像机拍摄的图像，其中，所述点云数据包括：横坐标值、纵坐标值和竖坐标值；

对所述图像进行特征提取以生成图像特征图；

对所述目标区域进行网格划分以生成子目标区域集合；

确定所述子目标区域集合中每个子目标区域内的点云数据的均值以生成点云数据均值信息，得到点云数据均值信息集合；

基于所述子目标区域集合、所述点云数据均值信息集合和所述点云数据集合，生成点云数据特征信息集合，其中，所述子目标区域集合中的子目标区域和所述点云数据特征信息集合中的点云数据特征信息一一对应；

确定所述点云数据特征信息集合中的每个点云数据特征信息对应的点云数据在所述图像特征图中的映射坐标，得到映射坐标集合；

将所述点云数据特征信息集合中每个点云数据特征信息与对应的图像特征进行特征拼接，以生成拼接特征信息，得到拼接特征信息集合，其中，所述图像特征是所述图像特征图中坐标和所述点云数据特征信息对应的映射坐标相同的特征；

将所述拼接特征信息集合输入至特征融合模型以生成融合特征信息；

将所述融合特征信息输入至障碍物检测模型以生成障碍物检测信息；

将所述障碍物检测信息发送至目标显示终端以及在所述目标显示终端上进行显示。

2.根据权利要求1所述的方法，其中，所述对所述图像进行特征提取以生成图像特征图，包括：

对所述图像进行特征提取以生成第一子特征图；

对所述第一子特征图进行特征提取以生成第二子特征图；

对所述第二子特征图进行特征提取以生成第三子特征图。

3.根据权利要求2所述的方法，其中，所述方法还包括：

将所述第二子特征图和第三子特征图进行特征放大，以生成第一放大特征图和第二放大特征图；

将所述第一子特征图、第一放大特征图和第二放大特征图进行特征叠加以生成所述图像特征图。

4.根据权利要求1所述的方法，其中，所述目标区域是通过以下公式得到的：

，

其中，表示所述点云数据集合中点云数据包括的横坐标值，表示所述点云数据集合中点云数据包括的纵坐标值，表示所述点云数据集合中点云数据包括的竖坐标值，表示第一扫描角度值，取值范围为，表示第二扫描角度值，取值范围为，表示激光雷达感知半径，为表示第一感知半径，取值范围为，为第二感知半径，取值范围为。

5.根据权利要求3所述的方法，其中，所述点云数据均值信息包括：点云数据横坐标均值、点云数据纵坐标均值和点云数据竖坐标均值；以及

所述基于所述子目标区域集合、所述点云数据均值信息集合和所述点云数据集合，生成点云数据特征信息集合，包括：

通过以下公式，确定所述子目标区域集合中的每个子目标区域内的每个点云数据与所述子目标区域对应的点云数据均值信息的差值以生成第一偏差信息，得到第一偏差信息组集合，其中，所述第一偏差信息包括：第一横坐标偏差值和第一纵坐标偏差值：

，

其中，表示所述第一偏差信息包括的第一子偏差信息，表示所述第一偏差信息包括的第二子偏差信息，表示所述点云数据包括的横坐标值，表示所述点云数据包括的纵坐标值，表示所述点云数据均值信息包括的点云数据横坐标均值，表示所述点云数据均值信息包括的点云数据纵坐标均值。

6.根据权利要求5所述的方法，其中，所述方法还包括：

通过以下公式，确定所述子目标区域集合中的每个子目标区域内的每个点云数据与所述子目标区域的中心点的差值以生成第二偏差信息，得到第二偏差信息组集合，其中，所述第二偏差信息包括：第二横坐标偏差值，第二纵坐标偏差值：

，

其中，表示所述第二偏差信息包括的第二横坐标偏差值，表示所述第二偏差信息包括的第二纵坐标偏差值，表示所述子目标区域的中心点的横坐标值，表示所述子目标区域的中心点的纵坐标值，表示所述点云数据包括的横坐标值，表示所述点云数据包括的纵坐标值；

基于所述点云数据集合、所述第一偏差信息组集合和所述第二偏差信息组集合，生成所述点云数据特征信息集合。