[发明专利]三维目标检测方法、编码器及解码器

说明书

本申请实施例提供了一种三维目标检测方法、电子设备及计算机存储介质，其中，三维目标检测方法包括：获取待检测的三维环境的图像和三维点云，以及所述图像对应的图像特征图和所述三维点云对应的点云特征图；进行所述图像特征图和所述点云特征图之间的特征交互，根据特征交互结果获得融合了点云特征的增强图像特征图，和，融合了图像特征的增强点云特征图；基于所述增强图像特征图和所述增强点云特征图，进行所述三维环境中的三维目标检测。通过本申请实施例，能够获得高质量的三维目标检测结果。

技术领域

本申请实施例涉及目标检测技术领域，尤其涉及一种三维目标检测方法、电子设备及计算机存储介质。

背景技术

在无人驾驶及机器人等领域，对环境的感知能力是保障其正常工作的一种重要能力。而要实现对环境的正确感知，三维目标检测则是环境感知的基础功能。通过三维目标检测，可以预测三维场景中物体的位置和类别，并判断物体的大小和朝向。进而，基于此，可以实现诸如轨迹预测、路径规划等作业任务。

为了实现对周边环境的感知，具有自动驾驶功能的车辆或机器人等往往配备了多种传感器，如激光雷达、环视相机等，以期各种传感器采集的不同模态的数据能够进行信息互补。现有的一种基于多传感器的三维目标检测方法采用了独立使用环视相机采集的图像和激光雷达采集的激光点云进行检测，将二者在检测结果级别进行集成。这种方式虽然可以直接使用现有的针对单一模态的检测算法，融合难度也较低，但是，这种方式使用各个模态的数据独立产生初始检测结果，造成无法充分发挥两种模态数据的信息互补优势，因此，无法获得高质量的三维检测结果。

发明内容

有鉴于此，本申请实施例提供一种三维目标检测方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种三维目标检测方法，包括：获取待检测的三维环境的图像和三维点云，以及所述图像对应的图像特征图和所述三维点云对应的点云特征图；进行所述图像特征图和所述点云特征图之间的特征交互，根据特征交互结果获得融合了点云特征的增强图像特征图，和，融合了图像特征的增强点云特征图；基于所述增强图像特征图和所述增强点云特征图，进行所述三维环境中的三维目标检测。

根据本申请实施例的第二方面，提供了一种编码器，其中，所述编码器包括多个编码层；每个编码层包括：特征输入部分，用于接收前层输出的图像特征图和点云特征图；特征交互部分，用于分别针对图像特征图，进行图像特征到图像特征之间的第一特征交互、和点云特征到图像特征之间的第二特征交互，以及，针对点云特征图，进行点云特征到点云特征之间的第三特征交互、和图像特征到点云特征之间的第四特征交互；特征融合部分，用于基于第一特征交互结果和第二特征交互结果进行特征融合，获得增强图像特征图，以及，基于第三特征交互结果和第四特征交互结果进行特征融合，获得增强点云特征图。

根据本申请实施例的第三方面，提供了一种解码器，其中，所述解码器包括多个解码层；相邻的解码层用于对不同类型的特征图进行解码，其中，不同类型的特征图包括增强点云特征图和增强图像特征图；所述增强点云特征图和所述增强图像特征图为：分别针对待检测的三维环境对应的点云特征图和图像特征图进行两者之间的特征交互，根据特征交互结果获得对应的融合了图像特征的增强点云特征图，和，融合了点云特征的增强图像特征图；所述点云特征图和所述图像特征图分别通过对所述三维环境对应的图像和三维点云进行特征提取得到。

根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。