[发明专利]一种基于车路协同的类别重召回的感知识别方法、装置、设备及介质

说明书

本发明公开了一种基于车路协同的类别重召回的感知识别方法，涉及车路协同技术领域，包括通过路端三维激光雷达扫描得到点云数据，通过路端相机拍摄得到二维图片；对点云数据进行聚类；对点云数据进行三维检测，并记录未被识别出的点云团；对路端三维激光雷达和路端相机进行标定，得到转换矩阵；通过转换矩阵得到所有未被识别出的点云团在二维图片中的位置，并用最小矩形包围框将其截取，得到图片块；通过分类网络模型对图片块进行分类，得到每个图片块的类别标签以及其头部的朝向角度信息。本发明使用相机的二维图片对激光雷达的三维漏检对象进行重召回，不仅能提高感知识别的召回率和准确率，还能有效的节约车身传感器的成本。

技术领域

本发明涉及车路协同技术领域，特别是涉及一种基于车路协同的类别重召回的感知识别方法、装置、设备及介质。

背景技术

在路端或车端的传感器识别下，现有的自动驾驶技术无论是单独使用二维检测还是单独使用三维检测，对被遮挡对象、远而小对象、激光点云纹理不清晰对象等，容易产生误检和漏检。

发明内容

本发明所要解决的技术问题是，克服现有技术的缺点，提供一种基于车路协同的类别重召回的感知识别方法、装置、设备及介质。

为了解决以上技术问题，本发明的技术方案如下：

一种基于车路协同的类别重召回的感知识别方法，包括，

通过路端三维激光雷达扫描得到点云数据，同时通过路端相机拍摄得到二维图片；

对所述点云数据进行聚类，得到若干个互相分离的点云团；

使用三维检测算法对所述点云数据进行三维检测，并记录未被三维检测算法识别出的所述点云团；

对路端三维激光雷达和路端相机进行标定，得到点云到图片的转换矩阵；

通过所述转换矩阵得到所有未被三维检测算法识别出的所述点云团在二维图片中的位置，并用最小矩形包围框将其从二维图片中进行截取，得到若干个图片块；

通过分类网络模型对所述图片块进行分类，得到每个所述图片块的类别标签以及其头部的朝向角度信息。

作为本发明所述基于车路协同的类别重召回的感知识别方法的一种优选方案，其中：所述三维检测算法包括Center Point算法。

作为本发明所述基于车路协同的类别重召回的感知识别方法的一种优选方案，其中：所述使用三维检测算法对所述点云数据进行三维检测，并记录未被三维检测算法识别出的所述点云团包括，

使用Center Point算法对所述点云数据进行三维检测，得到若干类三维包围框，并给每个三维包围框赋予对应的类别标签；

记录没有得到类别标签的所述点云团。

作为本发明所述基于车路协同的类别重召回的感知识别方法的一种优选方案，其中：所述通过转换矩阵得到所有未被三维检测算法识别出的所述点云团在二维图片中的位置包括，

通过公式[u,v,1]=M_t*[x,y,z,1]计算所述点云团在二维图片中的位置，其中，u、v表示该点云在二维图片中的像素点位置，x、y、z表示点云的三维坐标，M_t表示点云到图片的转换矩阵。

作为本发明所述基于车路协同的类别重召回的感知识别方法的一种优选方案，其中：所述分类网络模块包括Efficient Net网络模型。

本发明还公开了一种基于车路协同的类别重召回的感知识别装置，包括，

传感器模块，包括路端三维激光雷达和路端相机，分别用于扫描得到点云数据和拍摄得到二维图片；

点云聚类模块，用于对所述路端三维激光雷达扫描得到的点云数据进行聚类，得到若干个互相分离的点云团；

三维检测模块，用于对所述路端三维激光雷达扫描得到的点云数据进行三维检测，并记录未被三维检测算法识别出的所述点云团；