[发明专利]一种基于关键点检测车辆伪3d边界框的方法

说明书

本发明公开了一种基于关键点检测车辆伪3d边界框的方法，包括以下步骤：输入图片；目标检测提取车辆ROI；使用亚像素坐标编码训练多检测头分支；通过自注意力在线蒸馏选择最佳检测头分支；输出关键点坐标；获取车辆伪3d的类别信息；利用车辆伪3d的类别信息将预测的关键点连接形成伪3d边界框。上述技术方案模型结构简单，易于训练，对多个分支的结果计算通道维度的自注意力以及尺度空间的自注意力，最后对两个维度进行融合，能够捕捉独立分支之间的全局信息。

技术领域

本发明涉及智能驾驶技术领域，尤其涉及一种基于关键点检测车辆伪3d边界框的方法。

背景技术

关键点检测是目标检测的一个重要分支，广泛应用于姿态估计，人脸识别，自动驾驶等领域。随着深度学习的不断发展，目前主流的关键点检测技术分为两种形式，一种是基于热力图的关键点检测；一种是基于回归的关键点检测。

基于热力图的方法因为其卓越的性能在关键点检测中处于主导地位，该方法为每个关键点预测一个热力分布图，在热力图上利用局部信息在空间维度上实现特征匹配，预测各个点的概率分布，然后使用argmax获取极值点，预测的精度一般高于直接回归坐标值的方法。缺点是为了保持精度需要上采样操作(如转置卷积)以及一些额外的后处理(如DARK(分布感知坐标表示))，增加了网络计算量和显存需求，且随着输入分辨率的降低而导致精度急剧下降。

基于回归的方法利用神经网络直接回归关键点在原图中的坐标，可以实现网络的端到端训练，无需后处理，前向速度快。但是该方法严重依赖输入的空间分布，容易受到遮挡、截断等模糊场景下的噪声干扰，空间泛化能力弱，网络难以拟合，检测精度通常不如基于热力图的方法。

有资料显示，目前主流的关键点检测方法以热力图辅助回归的方式为主。因为人为标注的关键点坐标很难精准的代表真实目标位置，通常采用高斯核的方式平滑标签，将目标点区域平滑展开为二维高斯分布，为每个热力图上的关键点区域分配一个概率值表示该点作为真实目标点的置信度，目标点的概率值最大，一般设为1。Centernet输入图片提取特征后下采样生成原始1/4的热力图，然后对热力图进行分类和回归，最后将坐标值转换到原始图上，但是该方法精度受特征图分辨率大小的影响，在下采样过程中会产生量化误差，无法直接输出坐标值；DARK提出一种新的分布感知的关键点坐标表示方法，将热力图的分布信息近似成泰勒展开的分布，生成无偏的热力图来减少特征图在下采样过程中带来的坐标量化误差，但是也增加了额外的后处理过程。

中国专利文献CN107671414A公开了一种“伪3D边界框构建的方法、装置及电子设备”。通过获取交通摄像头采集的交通场景的视频数据，并从视频数据中提取目标车辆对应的车辆图像，基于所采集的车辆图像中的车身2D检测框、上半车身2D检测框和车端2D检测框构建目标车辆对应的伪3D边界框。上述方案需要回归多个2d检测框，包含冗余的特征信息，且需对多个框重合的点进行筛选，增加了网络的复杂度。

发明内容

本发明主要解决原有的技术方案基于热力图下采样过程中带来的量化误差，网络的复杂度高的技术问题，提供一种基于关键点检测车辆伪3d边界框的方法，通过将回归坐标点的形式简化为简单的分类任务，结合了热力图空间信息的优点，使用亚像素坐标去除下采样过程中的量化误差，使用soft-argmax直接输出关键点坐标值，无需保持高分辨率的热力图，模型结构简单，易于训练，对多个分支的结果计算通道维度的自注意力以及尺度空间的自注意力，最后对两个维度进行融合，能够捕捉独立分支之间的全局信息。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：

S1输入图片；

S2目标检测提取车辆ROI；

S3使用亚像素坐标编码训练多检测头分支；

S4通过自注意力在线蒸馏选择最佳检测头分支；

S5输出关键点坐标；