[发明专利]一种车载视觉实时多目标航向角估计方法及装置

说明书

本发明公开了一种车载视觉实时多目标航向角估计方法及装置，该方法包括：步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；步骤2，在深度卷积神经网络特征图上进行二维目标的优化定位，并对车辆、行人和骑车人三类交通道路参与者多目标进行分类优化，输出目标框所对应目标的二维位置和类别；步骤3，根据深度卷积神经网络特征图、目标的二维位置和类别，通过直接回归该目标的连续观测角度α，分别得到观测角度α的正弦值sinα和余弦值cosα，考虑角度的周期性同时平方和约束正弦值sinα和余弦值cosα，最终获得目标相对自车的观测角度α的唯一确定值。本发明能够在车辆行驶过程中准确实时地估计车载目标在世界坐标系下的观测，为车载目标的轨迹预测和智能车辆的碰撞预警提供依据。

技术领域

本发明涉及自动驾驶领域，特别是涉及一种车载视觉实时多目标航向角估计方法及装置。

背景技术

智能车辆的环境感知系统利用各种车载传感器进行数据采集和处理，为车辆提供自车与周围目标的位置和类别，以及相对观测、距离、速度等信息，进而为上层的决策规划提供信息依据，在智能车辆的研究中享有基础性的地位。视觉传感器是智能车辆环境感知系统最广泛使用的传感器，基于车载视觉的算法可直接定位二维车辆障碍物并区分目标的类别。车载多目标的观测估计是三维目标检测的重要研究内容之一，为车载目标的轨迹预测和运动意图提供线索。

二维目标检测通常是三维目标检测的基础，而道路场景中的二维目标检测受到恶劣天气状况、极端光照条件和场景参与者复杂，被检测对象形态尺寸各异，加上视角变化、遮挡、图像截断等因素的影响，覆盖多种道路场景的，对多类目标实现高精确性的二维检测并没有完全解决。检测算法的有效性往往与算法复杂度正相关，也与计算耗时关联。在复杂交通场景下，现有二维目标检测方法对于行人和骑车人分类困难。行人和骑车人两类容易相互误检，特别是当距离较远或遮挡发生时，且骑车人几乎正对或背对观测者时，该问题更加严重。

三维目标检测中的航向角估计以目标观测估计为基础，目标观测估计方法主要聚焦以下三个方向：1)往往将观测离线划分，转化为多类分类问题，由于目标观测角度是连续变化的，这种多类分类会引入离散误差；2)直接回归目标观测角度值，这种做法没有考虑观测角度周期性，导致模型训练难收敛；3)分别回归角度的正弦值和余弦值，但存在两个回归预测任务的不一致估计误差。具体地，Oeljeklaus M等人在从单目图像中检测目标框时，同时直接回归目标的观测朝角。由于角度的周期特性，直接回归目标的观测观测角会带来歧义性。例如-π和π本是同一角度，但然而在回归计算的空间中“距离”却最远，此时卷积网络模型的损失函数最大，使得训练不稳定，参数学习难以收敛。Guindel C等人将连续的观测观测值为8个离散角度类别，将回归问题转化为了分类问题。然而，大区间的离散划分显著降低了观测估计的准确率，且类似于直接回归角度值，未考虑角度的周期性。Deep3Dbox方法也将连续的观测观测值为8个离散角度类别，对朝角分类的同时，回归了观测角关于该类别角度范围起始值的偏差。该方法虽然补偿了离散分类带来的误差，但同样没有考虑角度周期性，且采用正弦值和余弦值同时回归偏差时，未考虑两者的平方和约束，存在观测估计精度不足的问题。因此，对于智能车辆而言，为了准确地实时地估计不同车载环境目标的观测角度，需要专门研究车载视觉环境下的多目标观测估计方法，进而根据目标相对自车的横纵向位置计算获得目标的航向角。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。

发明内容

本发明的目的在于提供一种车载视觉实时多目标航向角估计方法及装置来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种车载视觉实时多目标航向角估计方法，该方法包括：

步骤1，采用离线数据集事先训练好的单阶段二维目标检测模型YOLOv3提取输入的单目单帧图像的深度卷积神经网络特征图；