[发明专利]三维目标检测方法、装置、设备及可读存储介质

说明书

本申请涉及一种三维目标检测方法、装置、设备及可读存储介质，包括基于DORN算法对RGB图像进行处理得到深度估计图及其预测目标中心点深度值；通过RGB图像、深度估计图以及预测目标中心点深度值对预设神经网络模型进行训练生成目标检测模型，目标检测模型中的局部卷积核基于深度估计图生成，目标检测模型中的损失函数用于约束回归二维包围框与三维框的关系；将待检测图像输入至目标检测模型得到目标三维框。本申请结合图像的深度估计图生成自适应于目标样本位置的局部卷积核，以有效捕获上下文信息，提高三维目标检测算法的鲁棒性和准确性；同时利用深度估计图的目标中心深度值来构建二维框与三维框的几何约束监督，以有效提升算法性能。

技术领域

本申请涉及自动驾驶目标检测技术领域，特别涉及一种三维目标检测方法、装置、设备及可读存储介质。

背景技术

自动驾驶主要由三大核心系统构成，分别是环境感知系统、行为决策系统以及运动控制系统。其中，环境感知系统主要是通过传感器感知周围的环境状况以及采集对应数据；行为决策系统主要是处理实时输入的数据，并及时地生成合理可执行的规划路径；运动控制系统则根据当前决策路径发出控车指令，引导汽车安全行驶。由此可见，环境感知系统是自动驾驶前提，其采集数据的精度和效率直接影响行为决策系统和运动控制系统的操作。在物理世界里，物体往往包含有长度、宽度、高度以及朝向角度等几何信息，因此3D目标检测旨在2D目标检测的基础上提供目标在三维空间里的尺寸、姿态等真实信息。于是，为保证自动驾驶的安全行驶，环境感知层的目标检测将获取周围环境的位置信息，同时环境感知层将向行为决策层提供目标物体在路面上的真实情况。

相关技术中，在实现3D目标检测时，往往通过深度信息的辅助来克服传统二维卷积的局限性，不过由于传统目标检测模型中的卷积核是标准的3×3，以致深度引导的局部扩张卷积核在针对半遮挡物时无法对样本目标的上下文信息进行有效地捕获，进而导致算法模型鲁棒性较差且正确性较低，从而造成感知结果特别是针对于远处目标以及小目标(行人或骑车的人)的检测结果表现较差。

发明内容

本申请提供一种三维目标检测方法、装置、设备及可读存储介质，以解决相关技术中3D目标检测算法模型鲁棒性差且正确性低的问题。

第一方面，提供了一种三维目标检测方法，包括以下步骤：

基于DORN算法对RGB图像进行处理，得到深度估计图及其预测目标中心点深度值；

通过RGB图像、深度估计图以及预测目标中心点深度值对预设神经网络模型进行训练，生成目标检测模型，所述目标检测模型中的局部卷积核基于深度估计图生成，所述目标检测模型中的损失函数用于约束回归二维包围框与三维框的关系；

将待检测图像输入至所述目标检测模型，得到目标三维框。

一些实施例中，所述预设神经网络模型包括上支特征提取网络和下支卷积核生成网络，所述上支特征提取网络包括改进后的ResNet-50网络、RPN网络和深度引导卷积模块。

一些实施例中，所述改进后的ResNet-50网络包括由残差模块构成的4个卷积模块，所述下支卷积核生成网络包括由残差模块构成的3个卷积模块。

一些实施例中，所述通过RGB图像、深度估计图以及预测目标中心点深度值对预设神经网络模型进行训练，生成目标检测模型，包括：

将所述深度估计图作为下支卷积核生成网络的输入，得到深度特征图；

将所述RGB图像作为改进后的ResNet-50网络的输入，改进后的ResNet-50网络中的卷积模块基于所述RGB图像和所述深度特征图生成上支特征图；

所述深度引导卷积模块对所述深度特征图和所述上支特征图进行融合，得到融合特征图；

基于所述融合特征图和所述预测目标中心点深度值对所述RPN网络进行三维目标检测训练，生成目标检测模型。