[发明专利]基于多任务卷积神经网络的车辆朝向检测方法及系统

权利要求书

1.一种基于多任务卷积神经网络的车辆朝向检测方法，其特征在于，包括如下步骤：

建立成熟的多级多任务卷积神经网络模型；

获取前车的实时RGB图像，并将前车的实时RGB图像输入多级多任务卷积神经网络模型中，得到前车的实时车辆位置、实时车辆类型、实时车轮位置及实时车轮与地面交点位置信息；

优化处理实时车轮位置及实时车轮与地面交点位置信息，并通过实时车轮与地面交点位置信息获取前车的实时车辆朝向角度；

所述“建立成熟的多级多任务卷积神经网络模型”步骤，具体包括以下步骤：

建立原始的多级多任务卷积神经网络模型；

获取训练图片，将训练图片输入到原始的多级多任务卷积神经网络模型中，得到原始的多级多任务卷积神经网络模型的总损失函数；

根据原始的多级多任务卷积神经网络模型及其总损失函数，获得成熟的多级多任务卷积神经网络模型；

所述“建立原始的多级多任务卷积神经网络模型”步骤，具体包括以下步骤：

获取原始图片，并将原始图片缩放到不同的尺度以形成一个图像金字塔；

根据图像金字塔，进行多级别卷积运算，获取车辆检测框、车辆类型、车轮检测框、车轮与地面交点位置信息；

根据车辆检测框、车辆类型、车轮检测框、车轮与地面交点位置信息，获取车辆朝向角度；

根据上述步骤，获得原始的多级多任务卷积神经网络模型；

所述“根据图像金字塔，进行多级别卷积运算，获取车辆检测框、车辆类型、车轮检测框、车轮与地面交点位置信息”步骤，具体包括以下步骤：

在图像金字塔上采用密集滑窗通过第一级别多任务卷积神经网络提取图像的初步特征与标定边框，进行边界框回归调整处理得到候选边界框，对候选边界框的窗口进行校准，然后通过非极大值抑制合并高度重叠的候选边界框得到车辆与车轮的粗定位的候选框图像；

将合并高度重叠的候选边界框后得到的候选框图像作为输入，进行第二级别多任务卷积神经网络运算，通过边界框回归调整和非极大值抑制剔除误检目标；

对剔除误检目标后的候选框图像进行缩放后作为输入，进行第三级别多任务卷积神经网络运算，得到最终车辆检测框、车辆类型、车轮检测框和车轮与地面交点位置信息。

2.根据权利要求1所述的基于多任务卷积神经网络的车辆朝向检测方法，其特征在于，所述“根据车辆检测框、车辆类型、车轮检测框、车轮与地面交点位置信息，获取车辆朝向角度”步骤，具体包括如下步骤：

根据车辆检测框、车辆类型、车轮检测框、车轮与地面交点的关键点位置信息，在图像上连接各个车轮与地面交点；

筛选出水平位置相差不大、并属于同一车辆的两个车轮与地面交点，将两个车轮与地面交点结合摄像机的内、外参数映射到世界坐标系下，获得车辆朝向角度。

3.根据权利要求2所述的基于多任务卷积神经网络的车辆朝向检测方法，其特征在于，所述“将两个车轮与地面交点结合摄像机的内、外参数映射到世界坐标系下，获得车辆的朝向角度”步骤，具体包括如下步骤：

分别建立图像坐标系、摄像机坐标系、车辆坐标系和世界坐标系；

根据张正友棋盘格的方式标定摄像机的内、外参数，建立图像坐标到世界坐标系的映射关系；

根据两个车轮与地面交点的图像坐标，映射到世界坐标系下，获取两个车轮与地面交点的直线与沿车道方向的世界坐标系轴的夹角，推算出车辆朝向角度。

4.根据权利要求1所述的基于多任务卷积神经网络的车辆朝向检测方法，其特征在于，所述“获取训练图片，将训练图片输入到原始的多级多任务卷积神经网络模型中，得到原始的多级多任务卷积神经网络模型的总损失函数”步骤，具体包括以下步骤：

对训练图片进行数据标注，标注车辆检测框、车辆类型、车轮检测框及车轮与地面交点信息；

将标注的车辆检测框、车辆类型输入到原始的多级多任务卷积神经网络模型中进行训练，调整参数得到收敛的多级多任务卷积神经网络模型；

将标注车辆检测框、车辆类型、车轮检测框及车轮与地面交点信息，输入到收敛的多级多任务卷积神经网络模型中进行训练，得到收敛的多级多任务卷积神经网络模型的总损失函数。