[发明专利]基于单目相机的三维目标检测方法、装置和计算机设备

权利要求书

1.一种基于单目相机的三维目标检测方法，其特征在于，所述方法包括：

获取单目相机采集的自动驾驶场景下的图像；

将所述图像输入至训练好的目标对象检测模型中的分散注意力残差网络，利用可变形卷积对所述图像进行上采样，并将上采样后得到的各特征图与前低层的特征图进行融合；

将融合后的特征图进行特征增强；

基于增强后的特征图回归出用于标识目标对象的三维框、所述目标对象的朝向和所述目标对象的中心点的偏移量；

根据所述偏移量调整所述三维框的位置，并得到所述目标对象的目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述图像输入至训练好的目标对象检测模型中的分散注意力残差网络，利用可变形卷积对所述图像进行上采样的步骤，进一步包括：

将所述图像输入至训练好的目标对象检测模型中的分散注意力残差网络；

在利用可变形卷积对所述图像进行多次上采样的过程中，针对每次上采样，根据所述图像中的目标对象的几何形状对卷积核变形，得到与所述几何形状相适应的卷积核；

基于与所述几何形状相适应的卷积核对所述图像进行上采样，得到感受野与目标对象的大小相符合的特征图。

3.根据权利要求1所述的方法，其特征在于，所述利用可变形卷积对所述图像进行上采样，并将上采样后得到的各特征图与前低层的特征图进行融合的步骤，进一步包括：

利用可变形卷积对所述图像进行多次上采样，并将每次上采样后得到的特征图与前低层的特征图进行融合；

其中，所述前低层的特征图，是本次上采样前对应的上一层采样后输出的且未融合的特征图。

4.根据权利要求1所述的方法，其特征在于，所述基于增强后的特征图回归出用于标识目标对象的三维框、所述目标对象的朝向和所述目标对象的中心点的偏移量的步骤，进一步包括：

基于增强后的特征图在所述图像中添加先验框，并根据所述先验框，回归出所述三维框的长度和宽度；

依据所述目标对象的中心点距离单目相机的距离，回归出所述目标对象的朝向、所述目标对象的中心点的偏移量、以及所述三维框的高度；

根据所述三维框的长度和宽度、以及所述三维框的高度，得到用于标识所述图像中的目标对象的三维框。

5.根据权利要求1所述的方法，其特征在于，所述目标对象检测模型通过模型训练步骤得到，所述模型训练步骤包括：

根据点云坐标对样本图像标注标签信息；所述点云坐标，是通过激光雷达采集的样本图像形成的；

通过所述标签信息的相机外参将所述点云坐标转化为相机坐标系下的坐标；

通过所述标签信息的相机内参将所述相机坐标系下的坐标转换至像素坐标系；

根据转换至所述像素坐标系的样本图像，训练目标对象检测模型。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

在使用训练好的所述目标对象检测模型的过程中，通过最小化KL散度的方式，使用所述目标对象检测模型中的推理优化器将所述目标对象检测模型中待计算的32位或16位数据量化为8位整数形式的数据；

根据所述目标对象检测模型对量化为8位整数形式的数据进行计算。

7.一种基于单目相机的三维目标检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取单目相机采集的自动驾驶场景下的图像；

特征提取模块，用于将所述图像输入至训练好的目标对象检测模型中的分散注意力残差网络，利用可变形卷积对所述图像进行上采样，并将上采样后得到的各特征图与前低层的特征图进行融合；

增强模块，用于将融合后的特征图进行特征增强；

回归模块，用于基于增强后的特征图回归出用于标识目标对象的三维框、所述目标对象的朝向和所述目标对象的中心点的偏移量；

检测模块，用于根据所述偏移量调整所述三维框的位置，并得到所述目标对象的目标检测结果。