[发明专利]单目3D环境感知方法、装置及电子设备、存储介质

说明书

本申请公开了一种单目3D环境感知方法、装置及电子设备、存储介质，其中所述方法包括：获取包含有目标物的待检测图像；将所述待检测图像输入预设图像检测模型，得到所述目标物的特征信息，所述预设图像检测模型是采用一个主干网络以及多个分支任务网络的网络结构训练得到的；根据所述目标物的特征信息、自车运动估计信息，得到所述目标物的3D环境感知信息。通过本申请实现了单目相机实现3D环境感知。本申请可用于自动驾驶车辆感知交通场景的复杂环境信息。

技术领域

本申请涉及自动驾驶、环境感知技术领域，尤其涉及一种单目3D环境感知方法、装置及电子设备、存储介质。

背景技术

感知并理解快速动态变化的交通场景对于现代的自动驾驶系统是非常重要的。对于自动驾驶系统而言不仅需要在图像域检测到目标物体，而且要提供目标物体在世界坐标系下的三维(3D)位置信息，以防止和其他交通物体发生碰撞。

相关技术中，对于交通场景的3D感知主要是以深度相机或双目相机为主，而单目相机主要感知目标物体在图像域的二维(2D)位置信息，或者融合IMU惯导实现交通场景的3D感知。

如果使用深度相机或双目相机，深度相机和双目相机造价昂贵且感知结果不稳定。然而采用单目相机2D位置信息融合IMU实现3D感知的融合方式会造成融合程序代码复杂程度高且不易维护。

发明内容

本申请实施例提供了单目3D环境感知方法、装置及电子设备、存储介质，以通过单目实现更加丰富的环境感知，而不需要复杂的融合。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种单目3D环境感知方法，其中，所述方法包括：

获取包含有目标物的待检测图像；

将所述待检测图像输入预设图像检测模型，得到所述目标物的特征信息，所述预设图像检测模型是采用一个主干网络以及多个分支任务网络的网络结构训练得到的；

根据所述目标物的特征信息、自车运动估计信息，得到所述目标物的3D环境感知信息。

在一些实施例中，所述预设图像检测模型包括：

一主干网络，用于提取图像特征；

多个分支任务网络，用于将预设特征图与多个卷积检测头连接，

其中，所述预设特征图是通过两个相邻图像帧经过预设处理之后提取得到的带有语义特征的特征图。

在一些实施例中，所述目标物的特征信息包括：旋转矩阵、平移向量、当前可行驶区域、所述目标物的2D边缘检测框、所述目标物的3D边缘检测框，所述方法还包括：

根据所述旋转矩阵以及所述平移向量，估计得到所述目标物体的移动速度；

根据所述当前的可行驶区域得到当前交通场景下经过语义分割后得到的当前可行驶区域；

根据所述目标物的2D边缘检测框，得到所述目标物2D信息以及根据所述目标物的3D边缘检测框得到所述目标物的3D信息。

在一些实施例中，所述预设图像检测模型还包括：

根据获取的相邻时刻的两张图像，采用卷积神经网络的主干网络以及路径聚合PAN，提取出相邻两时刻的两张图像中的图像特征；

根据相邻两时刻的两张图像中的图像特征，得到第一特征图以及第二特征图，所述第一特征图作为当前帧的特征图，所述第二特征图作为上一帧的特征图；

将所述第二特征图投影到所述第一特征图下进行特征对齐，得到特征对齐后的特征图；

将所述特征对齐后的特征图与所述第一特征图进行融合得到所述预设特征图。