[发明专利]障碍物信息融合方法、装置、电子设备和存储介质

权利要求书

1.一种障碍物信息融合方法，其特征在于，包括：

基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；

基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；

统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别；

所述基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：

基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为所述雷达检测框对应障碍物的类别。

2.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框，具体包括：

基于所述点云数据对障碍物进行雷达目标检测和跟踪，得到障碍物的跟踪标识及其对应的三维目标检测框；

根据坐标系转换矩阵，将所述三维目标检测框映射到所述摄像头对应的二维图像坐标系中，得到所述雷达检测框；

其中，所述坐标系转换矩阵是基于所述雷达与所述摄像头之间的相对位置关系确定的。

3.根据权利要求2所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：

统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量；

若所述雷达检测框中包含的视觉中心点数量为0，则基于所述雷达检测框对应障碍物的跟踪标识，确定所述雷达检测框对应障碍物在上一帧中确定得到的类别，并将所述上一帧中确定得到的类别作为所述雷达检测框对应障碍物在当前帧中的类别；

否则，基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。

4.根据权利要求1所述的障碍物信息融合方法，其特征在于，所述统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别，具体包括：

计算所述雷达检测框与图像检测框之间的重叠率；

若所述重叠率大于预设重叠阈值，则将所述图像检测框对应障碍物的类别作为所述雷达检测框对应障碍物的类别；

若所述雷达检测框与所有图像检测框之间的重叠率均小于等于所述预设重叠阈值，则统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别。

5.根据权利要求4所述的障碍物信息融合方法，其特征在于，所述计算所述雷达检测框与图像检测框之间的重叠率，具体包括：

基于所述雷达检测框在所述摄像头对应的二维图像坐标系中的坐标，确定所述雷达检测框与所述图像检测框的重叠部分的面积，以及所述雷达检测框与所述图像检测框并集的总面积；

基于所述重叠部分的面积以及所述并集的总面积，确定所述重叠率。

6.一种障碍物信息融合装置，其特征在于，包括：

雷达目标检测单元，用于基于雷达采集的点云数据，对障碍物进行雷达目标检测和跟踪，得到各个障碍物在摄像头的二维图像坐标系下的雷达检测框；

图像目标检测单元，用于基于摄像头采集的图像数据，对障碍物进行图像目标检测，得到各个障碍物的图像检测框及其类别；

障碍物类别融合单元，用于统计所述雷达检测框中包含的各类别图像检测框的视觉中心点数量，并基于所述雷达检测框中各类别图像检测框的视觉中心点数量，确定所述雷达检测框对应障碍物的类别；

所述障碍物类别融合单元，具体用于：

基于雷达检测框中各类别图像检测框的视觉中心点数量，确定雷达检测框包含的视觉中心点数量最多的图像检测框的类别，作为雷达检测框对应障碍物的类别。