[发明专利]一种基于密集关联的单目3D车辆检测方法

说明书

本发明提供一种基于密集关联的单目3D车辆检测方法，包括以下步骤：通过车载相机采集单张的前视图像；计算前视图像中的各像素点在相机坐标系下的2D坐标；映射并计算前视图像中的各像素点在目标局部坐标系下的3D坐标；通过自下而上的实例分割方法划分前视图像中的各目标车辆在前视图像上所占的2D空间区域，并根据2D空间区域选取各目标车辆的像素点及其对应的2D坐标和3D坐标，并构建密集2D‑3D关联；由密集2D‑3D关联构建PnP问题并求解，获取目标车辆的位置和角度；由网络分支预测车辆的长、宽、高尺寸，并结合获取的目标车辆的位置和角度，获取目标车辆的3D检测框。与现有技术相比，该方法能够精确地对交通场景的车辆进行识别和定位。

技术领域

本发明涉及计算机视觉与智能驾驶汽车领域，尤其是涉及一种基于密集关联的单目3D车辆检测方法。

背景技术

在众多应用于智能汽车的传感器中，相机这一视觉传感器具有分辨率高、成本较低、部署方便等优点。利用相机获得的RGB图像数据进行3D车辆检测，可以成为在精度要求稍低的场合代替基于激光雷达的高成本方案。使用单张图像进行3D车辆检测，即单目3D车辆检测，是其中核心技术之一，在智能汽车领域有着广泛的需求。

单目3D车辆检测的难点在于仅凭2D图像估计车辆的距离。目前，主流的单目3D车辆检测方法有两类，一类是通过深层网络直接估计车辆的距离，另一类是构建2D-3D关联并通过几何推理间接估计车辆的距离。其中，前者往往存在依赖特定场景和相机内参，存在泛化性能差的问题。后者对于不同场景和相机内参下数据的迁移更加稳健，实用性更好，但现有方法仍然存在部分问题，主要体现如下：

第一，部分方法在训练模型时需要用到额外的人工标注，例如关键点、车辆3D模型等，增加了数据标注的成本；

第二，现有方法一般需要单独的目标检测或实例分割模块，先完成检测，再生成2D-3D关联并进行几何推理，未能将二者充分结合；

第三，现有方法往往采用固定数量的关键点或区域栅格形成2D-3D关联，不能自适应地去除车辆被遮挡区域的不可靠关联，易使部分被遮挡车辆的定位精度下降。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于密集关联的单目3D车辆检测方法，该方法能够精确地对交通场景的车辆进行识别和定位。

本发明的目的可以通过以下技术方案来实现：

本发明提供一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的识别和定位，包括以下步骤：

S1：通过车载相机采集单张的前视图像；

S2：计算所述前视图像中的各像素点在相机坐标系下的实际2D坐标；

S3：对所述前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再将3D分布投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；

S4：设置第一网络分支，根据所述高斯混合模型，判定各像素点对应的唯一目标车辆，并对各像素点对应的唯一目标车辆的中心位置进行聚类，实现自下而上的实例分割，进而使得S3中构建的2D-3D关联被划分为各个车辆的密集2D-3D关联；

S5：由所述密集2D-3D关联构建PnP问题并进行求解，获取所述目标车辆的位置和角度；

S6：根据S4的实例分割结果，设置第二网络分支，获取各像素点对应的唯一目标车辆的尺寸，并结合S5获取的目标车辆的位置和角度，获取包含位置、角度、尺寸信息的车辆3D检测框。