[发明专利]一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质

说明书

本发明提供一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质，包括以下步骤：S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。本发明通过将对应的特征图进行多尺度特征融合，再分两个阶段进行损失函数回归，减小回归难度，提高网络结构的性能。

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质。

背景技术

ADAS即先进驾驶辅助系统又称主动安全系统，主要通过获取图像、雷达数据并处理。得到目标物体的距离、位置、形状等信息。目标物体的跟踪中，同一目标物体由于目标的自身状态、场景所处的环境的影响，同一类物体在不同的图像中所成的像往往会差别很大，在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相很难相匹配。关键点是在不同尺度空间的图像中检测出的具有方向信息的局部极值点，无人驾驶车辆行驶过程中，摄像头会采集到道路上及周围的物体，对于车辆、行人、路牌、路灯杆等物体，我们可以根据关键点检测算法回归出其相应的关键点，根据关键点信息可以辅助无人驾驶车辆进行定位。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质，第一，将追踪目标对应的标准特征图进行多尺度特征融合。第二，使用标准特征图，在不影响耗时的情况下，提高图像精度。第三，分两个阶段进行损失函数回归，先将标准特征图进行下采样操作得到下采样层特征图。阶段一在下采样层特征图中进行学习，当学习充分后，将下采样层特征图中的关键点位置映射到标准特征图中；阶段二在映射得到的标准特征图中进行学习，且利用掩码只学习关键点所在的映射位置，减小回归的难度。

一种基于关键点回归的车辆三维检测方法，包括以下步骤：

S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；

S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；

S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。

进一步地，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。

进一步地，所述步骤S021中的特征图的特征融合限定为中低层的特征图进行特征融合。即在神经网络的卷积层中，处于中低层的卷积层的特征图进行特征融合。

进一步地，所述步骤S021中的特征融合为密集性特征融合。即特征融合时，选择神经网络中的卷积层时，选取尽可能多的卷积层进行特征融合。

进一步地，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。

进一步地，所述标准特征图的尺寸为56*56的特征图，标准特征图的尺寸稍大于追踪目标候选框的尺寸，以防止追踪目标的边缘外露，使关键点处于标准特征图之外。

进一步地，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。