[发明专利]一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质

权利要求书

1.一种基于关键点回归的车辆三维检测方法，其特征在于，包括以下步骤：

S01：预设追踪目标的关键点标签，确定追踪目标的检测区域，获得预设追踪目标关键点标签在检测区域中的相对位置信息，标记为关键点第一位置信息；

S02：提取目标检测区域的特征图，获取追踪目标关键点在特征图中的相对位置信息，标记为关键点第二位置信息；

S03：以关键点第一位置信息和关键点第二位置信息为输入，得出损失函数以优化网络结构。

2.根据权利要求1所述的基于关键点回归的车辆三维检测方法，其特征在于，所述步骤S02中，提取目标检测区域的特征图后，还包括将各个特征图的特征融合的步骤S021。

3.根据权利要求2所述的基于关键点回归的车辆三维检测方法，其特征在于，在步骤S01的确定追踪目标的检测区域后，在步骤S02的提取目标检测区域的特征图前，还包括尺度空间转换的步骤S01a：将各个目标检测区域的特征图转换成相同的尺度的标准特征图，再进行关键点检测，获取关键点在特征图中的相对位置关系。

4.根据权利要求3所述的基于关键点回归的车辆三维检测方法，其特征在于，在获取追踪目标关键点在特征图中的相对位置信息前，还包括将标准特征图下采样的步骤S01b：获取下采样层特征图，以下采样层特征图作为输入，训练下采样局部网络；再以下采样层特征图为输入下采样局部网络，输出关键点位置信息并映射回标准特征图中。

5.根据权利要求4所述的基于关键点回归的车辆三维检测方法，其特征在于，还包括步骤S01c：将映射了下采样关键点位置的标准特征图进行掩码操作，训练标准特征局部网络，使其只学习标准特征图中关键点所在的映射位置。

6.根据权利要求5所述的基于关键点回归的车辆三维检测方法，其特征在于，所述目标检测区域标记其左上角点为原点，获得参数(X,Y)，目标检测区域的宽设置为W，目标检测区域的高设置为H；得到目标检测区域的参数(X,Y,W,H)。

7.根据权利要求1所述的基于关键点回归的车辆三维检测方法，其特征在于，所述网络结构中，基础段采用resnet50网络结构，检测段采用rrc网络结构。

8.根据权利要求1所述的基于关键点回归的车辆三维检测方法，其特征在于，所述关键点检测段的网络结构包括获取基础段中低层的特征图，通过RoI pooling层使每个特征图的窗口生成固定尺寸的特征图，以concat函数融合固定尺寸的特征图，再经过至少一次卷积、池化操作获得标准特征图，标准特征图与预设追踪目标的关键点标签输入一起生成第一损失函数；所述标准特征图再经过至少一次卷积、池化操作获得下采样层特征图，下采样层特征图和追踪目标关键点在特征图中的标签共同作为输入再通过掩码操作，生成第二损失函数。

9.一种基于关键点回归的车辆三维检测系统，其特征在于，包括关键点标签标注模块、目标检测模块、特征提取模块、关键点第一位置生成模块、关键点第二位置信息生成模块、损失函数生成模块；

所述目标检测模块用于在原图中获得追踪目标，并以追踪目标为基础获得检测区域；

所述关键点标签标注模块用于标注追踪目标关键点，并输出关键点标签；

所述特征提取模块用于自检测区域中提取特征，生成特征图；

所述关键点第一位置生成模块用于以关键点标签所在目标检测模块的像素点的位置信息生成关键点第一位置数组；

所述关键点第二位置生成模块用于以关键点标签所在特征图的格点的位置信息生成关键点第二位置数组；

所述损失函数生成模块用于以关键点第一位置数组与第二位置数组对应位数之差的和与系数的乘积得到损失函数，以修正网络结构。

10.一种基于关键点回归的车辆三维检测系统终端，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如权利要求1至8任一权利要求所述的方法中的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现如权利要求1至8任一权利要求所述的方法中的步骤。