[发明专利]三维目标检测方法、编码器及解码器

权利要求书

1.一种三维目标检测方法，包括：

获取待检测的三维环境的图像和三维点云，以及所述图像对应的图像特征图和所述三维点云对应的点云特征图；

进行所述图像特征图和所述点云特征图之间的特征交互，根据特征交互结果获得融合了点云特征的增强图像特征图，和，融合了图像特征的增强点云特征图；

基于所述增强图像特征图和所述增强点云特征图，进行所述三维环境中的三维目标检测。

2.根据权利要求1所述的方法，其中，所述进行所述图像特征图和所述点云特征图之间的特征交互，根据特征交互结果获得融合了点云特征的增强图像特征图，和，融合了图像特征的增强点云特征图，包括：

针对所述图像特征图，进行从图像特征到图像特征的第一特征交互，以及从点云特征到图像特征的第二特征交互；根据第一特征交互的结果和第二特征交互的结果，获得融合了点云特征的增强图像特征图；

和，

针对所述点云特征图，进行从点云特征到点云特征的第三特征交互，以及从图像特征到点云特征的第四特征交互；根据第三特征交互的结果和第四特征交互的结果，获得融合了图像特征的增强点云特征图。

3.根据权利要求2所述的方法，其中，所述从点云特征到图像特征的第二特征交互，包括：

将与图像特征图中的位置点对应位置的点云特征进行投影变换，转换为图像特征。

4.根据权利要求3所述的方法，其中，所述将与图像特征图中的位置点对应位置的点云特征进行投影变换，转换为图像特征，包括：

将所述三维点云投影变换为具有深度信息的鸟瞰图；

根据所述鸟瞰图中的像素点的位置，获得所述像素点在所述点云特征图中对应位置处的点云特征；

对获得的所述点云特征进行投影变换，转换为图像特征。

5.根据权利要求2所述的方法，其中，所述从图像特征到点云特征的第四特征交互，包括：

针对所述点云特征图中的某个像素点，获得该像素点在所述点云特征图中的多个参考像素点；

基于该像素点和所述多个参考像素点的位置，从所述图像特征图中获得对应位置的多个图像特征；

将该像素点对应的点云特征和获得的所述多个图像特征进行融合。

6.根据权利要求5所述的方法，其中，所述基于该像素点和所述多个参考像素点的位置，从所述图像特征图中获得对应位置的多个图像特征，包括：

基于该像素点和所述多个参考像素点的位置，进行投影变换，获得对应的二维坐标；

基于所述二维坐标，对所述图像特征图进行对应位置的特征采集，获得对应的多个图像特征。

7.根据权利要求1所述的方法，其中，所述基于所述增强图像特征图和所述增强点云特征图，进行所述三维环境中的三维目标检测，包括：

对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取，基于提取的特征进行所述三维环境中的三维目标检测。

8.根据权利要求7所述的方法，其中，

在所述对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取之前，所述方法还包括：分别基于所述点云特征图和所述增强点云特征图进行三维目标位置预测，获得对应的第一预测结果和第二预测结果；根据所述第一预测结果和所述第二预测结果，获得预设数量个候选预测框，其中，所述候选预测框属于某类目标的概率大于预设概率；

所述对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取，基于提取的特征进行所述三维环境中的三维目标检测，包括：基于所述候选预测框的信息，对所述增强图像特征图和所述增强点云特征图依次交替进行特征提取，基于提取的特征进行所述三维环境中的三维目标检测。

9.根据权利要求8所述的方法，其中，所述第一预测结果和所述第二预测结果分别为第一预测热图和第二预测热图；所述第一预测热图和所述第二预测热图中的第k个通道表示当前位置存在第k类目标的概率；

所述候选预测框的信息包括所述候选预测框对应的点云特征和所述候选预测框对应的目标类别向量的信息。