[发明专利]一种基于密集关联的单目3D车辆检测方法

权利要求书

1.一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的识别和定位，其特征在于，包括以下步骤：

S1：通过车载相机采集单张的前视图像；

S2：计算所述前视图像中的各像素点在相机坐标系下的实际2D坐标；

S3：对所述前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再将3D分布投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；

S4：设置第一网络分支，根据所述高斯混合模型，判定各像素点对应的唯一目标车辆，并对各像素点对应的唯一目标车辆的中心位置进行聚类，实现自下而上的实例分割，进而使得S3中构建的2D-3D关联被划分为各个车辆的密集2D-3D关联；

S5：由所述密集2D-3D关联构建PnP问题并进行求解，获取所述目标车辆的位置和角度；

S6：根据S4的实例分割结果，设置第二网络分支，获取各像素点对应的唯一目标车辆的尺寸，并结合S5获取的目标车辆的位置和角度，获取包含位置、角度、尺寸信息的车辆3D检测框。

2.根据权利要求1所述的一种基于密集关联的单目3D车辆检测方法，其特征在于，所述目标局部坐标系为以每个所述目标车辆的底面中心点为原点，以每个所述目标车辆的前方为x轴，以每个所述目标车辆的下方为y轴，以每个所述目标车辆的左方为z轴而建立的坐标系。

3.根据权利要求2所述的一种基于密集关联的单目3D车辆检测方法，其特征在于，所述S3包括以下步骤：

S3.1：依次通过残差网络和特征金字塔网络对前视图像进行处理，获取前视图像的多尺度特征；

S3.2：对所述多尺度特征依次进行变形卷积、双线性插值重采样和拼接处理，获取多尺度融合的高分辨率特征图；

S3.3：通过由卷积层构成的分支网络输出高分辨率特征图上各像素点的3D坐标向量，并采用高斯混合模型描述各像素点的3D坐标向量的概率分布；

S3.4：从多尺度特征中提取各目标车辆的区域特征，根据S3.3中的高斯混合模型获取各像素点在各局部坐标系下的动态3D坐标的概率分布，将各像素点在各局部坐标系下的动态3D坐标的概率分布转换为相机坐标系下的2D坐标的概率分布，采用负对数似然损失函数训练网络以最小化重影误差，即使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联。

4.根据权利要求3所述的一种基于密集关联的单目3D车辆检测方法，其特征在于，采用高斯混合模型描述各像素点的3D坐标向量的概率分布具体为：

式中，S为预先设置的高斯混合模型的数量，φ_i为第i个高斯混合模型的混合权重，∑_i为第i个高斯混合模型的协方差矩阵，μ_i为第i个高斯混合模型的均值，φ_i，∑_i，μ_i均为网络所输出的变量，为x^3D的概率密度估计，x^3D为目标局部坐标系下的一组坐标向量。

5.根据权利要求4所述的一种基于密集关联的单目3D车辆检测方法，其特征在于，将各像素点在各局部坐标系下的动态3D坐标的概率分布投影为相机坐标系下的2D坐标的概率分布的表达式为：

[x^cam y^cam z^cam]^T＝Rx^3D+t

式中，R和t分别为局部坐标系向相机坐标系转换的旋转矩阵与位移向量，中间变量x^cam，y^cam，z^cam分别为相机坐标系下的3D坐标，x^3D为目标局部坐标系下的一组坐标向量，x^2D为转换后的相机坐标系下的一组坐标向量。