[发明专利]基于三维模型的道路目标检测方法

权利要求书

1.一种基于三维模型的道路目标检测方法，其特征在于，包括如下步骤：

(1-1)同步获取两张道路采样图像，计算两张道路采样图像的视差图像，获得视差图像的深度特征；

(1-2)根据视差图像的深度特征生成候选区域，并将候选区域的3维边界框的坐标点映射到二维图像；

步骤(1-2)的具体步骤如下：

(1-2-1)设定轮廓内像素点数量的最小值为W；

(1-2-2)根据视差图像的深度特征提取视差图像中目标区域的轮廓，如果轮廓内的像素点数量少于W，转入(1-2-3)；如果轮廓内的像素点数量大于等于W，转入(1-2-4)；

(1-2-3)利用深度值对物体进行不同尺度的分割，转入(1-2-2)；

(1-2-4)如果轮廓内相邻像素点间的深度值差异小于设定值，检测视差图像的轮廓；

(1-2-5)根据检测到的视差图像的轮廓生成初始候选区域；

(1-2-6)对初始候选区域进行二阶微分的图像增强滤波，然后通过拉普拉斯算子突出渐变区域边缘的局部细节，生成最终的候选区域，并将候选区域的3维边界框的坐标点映射到二维图像；

(1-3)利用多尺度池化网络层的卷积神经网络提取二维图像的外形特征，利用3维模型获得道路目标；

步骤(1-3)的具体步骤如下：

(1-3-1)对二维图像进行卷积和降采样处理，将处理后的图像输入到多尺度池化层；

(1-3-2)对不同大小的二维图像的候选区域提取一个固定维度的外形特征；

(1-3-3)通过正常的softmax层进行类型识别，将获得的不同类型利用三维模型获得道路目标。

2.根据权利要求1所述的基于三维模型的道路目标检测方法，其特征在于，步骤(1-1)的具体步骤如下：

(2-1)同步获取两张道路采样图像，以左侧相机光心为坐标原点建立坐标系，获得视觉图像点p与双目视觉测量系统的关系：

其中，A₁,A₂分别表示左侧相机内参和右侧相机内参，R为旋转矩阵，T为平移矩阵，(u₁,v₁),(u₂,v₂)分别表示左侧相机和右侧相机所拍摄的二维图像像素点坐标，表示视觉图像点p的坐标；

(2-2)根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标，获得两张道路采样图像的视差图像，获得深度值

(2-3)根据二维图像的结构特征和视差图像的深度特征建立混合模型loss函数，loss函数定义为：

L_multi-task＝λ₁L_struct+λ₂L_depth

其中，结构层的评估分类代价，L_struct由图像分类U对应的概率p_U决定：L_struct＝-logp_U，图像分类包括小汽车，行人，自行车；深度特征从视差图像中获取，忽略了车辆的外形特征，只关注每种车型在深度方向的梯度变化，L_depth由梯度分类G(x,y)对应的概率p_G决定：L_depth＝-logp_G；λ₁，λ₂为平衡系数；

(2-4)利用一阶微分求公式L_multi-task＝λ₁L_struct+λ₂L_depth的导数获得视差图像深度方向的梯度值，获得视差图像得深度特征。

3.根据权利要求2所述的基于三维模型的道路目标检测方法，其特征在于，根据视觉图像点p与双目视觉测量系统的关系计算视觉图像点p的坐标的具体方法如下：

(3-1)根据公式

和计算和同时使和

(3-2)根据公式

计算得到点p的坐标为