[发明专利]一种基于关键点检测车辆伪3d边界框的方法

权利要求书

1.一种基于关键点检测车辆伪3d边界框的方法，其特征在于，包括以下步骤：

S1输入图片；

S2目标检测提取车辆ROI；

S3使用亚像素坐标编码训练多检测头分支；

S4通过自注意力在线蒸馏选择最佳检测头分支；

S5输出关键点坐标；

S6获取车辆伪3d的类别信息；

S7利用车辆伪3d的类别信息将预测的关键点连接形成伪3d边界框。

2.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S3具体包括：

S3.1首先对原始图上的关键点P(x,y)坐标取整为P(round(x),round(y))，然后下采样制作成热力图标签；

S3.2训练过程中将热力图转换到一维空间，通过一层全连接层得到各点预测的概率分布，利用soft-argmax计算点P在当前特征图上单元点的位置信息。

3.根据权利要求2所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S3.1具体包括，先假设P点坐标，对关键点P坐标值进行取整，点P经k倍下采样后在热力图中的坐标为(Hx,Hy)，将该位置标签值设为1，其他背景类设为0。

4.根据权利要求2所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S3.2将二维热力图转换为到一维空间，利用全连接层对各点进行分类，与制作的标签计算损失值，得到各点代表关键点的概率值P_I(i＝0,1,2…)，使用soft-argmax的方法计算关键点P在一维向量中的位置C_p为：

其中j代表的意义与i相同，β为扩大因子，用于提高接近目标点的准确度，再将得到的一维坐标转换到热力图上的二维坐标点(H_x，H_y),

其中W,H分别表示热力图的宽和高。

5.根据权利要求3所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S3.1利用亚像素坐标点的方法将热力图的量化误差值转换为亚像素坐标点，然后采用分类的方法得到亚像素坐标值以解决制作热力图标签时原图坐标缩小k倍后非整数的问题，亚像素标签制作过程具体包括将热力图中单元点在亚像素级别上扩大k倍，利用卷积将该点映射到k×k的特征图，每个热力图单元点之间看作k个亚像素点大小，即映射到原始图大小级别，热力图坐标量化的小数点部分为亚像素坐标下的真实标签坐标(S_x′，S_y′)。

6.根据权利要求5所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述亚像素坐标下的真实标签坐标(S_x′，S_y′)获取后，与计算热力图坐标的方式相同，网络再次经过一个全连接层对亚像素坐标点进行分类，同样使用soft-argmax方法转换到亚像素坐标下的坐标点为(S_x，S_y)，最终输出预测的关键点P(P_x,P_y)在原始图中的坐标值为：

P_x＝H_x×k+S_x

P_y＝H_y×k+S_y

关键点检测头的整个过程完全可微，只在原始图制作标签的时取整一次，误差为原始图单个像素级别大小，远小于多次下采样的量化误差级别，或者通过添加一个分支用于回归取整的误差大小。

7.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S4具体包括，首先将关键点检测头部扩展为多个分支，将多个分支的输出特征图联合计算通道维度上的自注意力以及尺度维度上的自注意力，然后将其融合得到最终的集成特征，使用集成后的模型与各分支分别计算坐标损失以实现蒸馏的过程，最后通过训练结果选择一个最好性能的分支作为网络模型的检测头。

8.根据权利要求1所述的一种基于关键点检测车辆伪3d边界框的方法，其特征在于，所述步骤S6车辆伪3d的分类为普通的分类任务，根据车辆在图中的朝向将车辆伪3d类别分为头左、头右、尾左、尾右、头、尾、左、右八类。