[发明专利]雷达辅助的单个图像三维深度重建

权利要求书

1.一种雷达辅助的单个图像三维(3D)深度重建的方法，其由自我车辆的车载计算机中的至少一个处理器执行，包括：

从所述自我车辆的雷达传感器接收所述自我车辆的环境的至少一个雷达图像；

从所述自我车辆的摄像头传感器接收所述自我车辆的所述环境的至少一个摄像头图像；以及

基于所述至少一个雷达图像和所述至少一个摄像头图像，使用由所述至少一个处理器执行的卷积神经网络(CNN)来生成所述自我车辆的所述环境的深度图像。

2.根据权利要求1所述的方法，其中，所述CNN使用编码器-解码器网络架构，其中，所述编码器-解码器网络架构包括摄像头分支、雷达分支、融合编码器分支和解码器分支。

3.根据权利要求2所述的方法，其中：

所述摄像头分支通过对所述至少一个摄像头图像进行下采样，直到用于表示所述至少一个摄像头图像的至少一个特征图的尺寸与所述深度图像的尺寸匹配为止，来生成所述至少一个特征图，

所述雷达分支通过对所述至少一个雷达图像进行下采样，直到用于表示所述至少一个雷达图像的至少一个特征图的尺寸与所述深度图像的尺寸匹配为止，来生成所述至少一个特征图，以及

所述融合编码器分支将所述用于表示所述至少一个摄像头图像的至少一个特征图和所述用于表示所述至少一个雷达图像的至少一个特征图组合成至少一个融合的特征图。

4.根据权利要求3所述的方法，其中，所述解码器分支基于对所述至少一个融合的特征图进行上采样，从所述至少一个融合的特征图生成所述深度图像。

5.根据权利要求1所述的方法，其中，所述摄像头传感器和所述雷达传感器是并列放置在所述自我车辆上的。

6.根据权利要求1所述的方法，其中，所述摄像头传感器和所述雷达传感器不是并列放置在所述自我车辆上的。

7.根据权利要求1所述的方法，其中，所述摄像头传感器和所述雷达传感器以不同的频率捕捉图像，并且其中，所述至少一个摄像头图像是在时间上与所述至少一个雷达图像最接近的摄像头图像。

8.根据权利要求1所述的方法，还包括：

从所述自我车辆的光探测和测距(激光雷达)传感器接收所述自我车辆的所述环境的至少一个激光雷达图像，其中，所述至少一个激光雷达图像表示通过所述激光雷达传感器发出的激光信号的距离测量；以及

使用所述至少一个激光雷达图像来训练所述CNN。

9.根据权利要求8所述的方法，其中：

所述至少一个激光雷达图像的方位角轴被量化为均匀间隔的方位角箱；并且

至少一个深度值是针对所述均匀间隔的方位角箱中的每个方位角箱来计算的。

10.根据权利要求9所述的方法，其中：

所述至少一个激光雷达图像的仰角轴被量化为均匀间隔的仰角步长，并且

深度值是针对每对方位角箱和仰角步长来计算的。

11.根据权利要求9所述的方法，其中，针对所述均匀间隔的方位角箱中的每个方位角箱计算的所述至少一个深度值被计算为落在所述方位角箱中的所有距离测量的平均距离测量。

12.根据权利要求1所述的方法，还包括：

使得所述自我车辆基于所述自我车辆的所述环境的所述深度图像来执行自主驾驶操作。

13.根据权利要求12所述的方法，其中，所述自主驾驶操作是显示所述深度图像、探测可行驶的空间、路径规划、制动、加速、转向、调整巡航控制设置或信令中的一者或多者。

14.根据权利要求1所述的方法，其中，所述雷达传感器包括商业可得的电子扫描雷达(ESR)、近程雷达(SRR)、远程雷达或中程雷达。