[发明专利]通过使用雷达和运动数据的单目相机来增强距离估计的系统和方法

权利要求书

1.一种通过使用雷达数据对来自单目相机的图像进行增强深度估计的方法，所述方法包括：

由设置在车辆中的处理单元接收来自所述单目相机的多个输入图像，所述单目相机联接到车辆，其中每个输入图像是所述车辆周围场景的二维(2-D)图像；

由所述处理单元通过图像估计模型的监督训练生成所估计的深度图像；

通过应用所估计的变换姿势，由所述处理单元生成来自第一输入图像的合成图像和来自所述单目相机的第二输入图像；

通过将另一个所估计的变换姿势应用于3-D点云，由所述处理单元将所估计的三维(3-D)点云与雷达数据进行比较，其中通过所述图像估计模型对雷达距离和雷达多普勒测量的监督训练，从深度图像中估计所述3-D点云；

通过从所述合成图像和初始图像的差异中导出的损失来校正所述估计的深度图像的深度估计；

通过从所估计的深度图像和所测量的雷达距离的差异中导出的损失来校正所述估计的深度图像的所述深度估计；以及

通过从所估计的多普勒信息和所测量的雷达多普勒信息的差异中导出的损失来校正所述估计的深度图像的所述深度估计。

2.根据权利要求1所述的方法，其中所述第一输入图像是I₁,…I_n之间的源视图I_s，并且所述第二输入图像是I_t(1≤t≤N,s≠t)的目标视图。

3.根据权利要求2所述的方法，还包括：

通过计算由以下所述函数导出的所述输入图像的深度误差的所述损失来校正所述深度估计：其中是基于所估计的深度的所估计的深度图像和所述源视图图像和目标视图图像的所估计的变换姿势R,T而扭曲到所述目标视图的所述源视图I_s。

4.根据权利要求3所述的方法，还包括：

通过计算由以下函数导出的雷达深度误差的所述损失来校正所述深度估计：其中n是与所述3-D点云的每个点进行比较的雷达点的总数，其中是(x,y)的邻域，r是来自雷达传感器的所测量的距离，并且是所述邻域中的所述估计的图像深度，其中w是对应的权重。

5.根据权利要求4所述的方法，还包括：

通过计算雷达多普勒误差的所述损失来校正所述深度估计。

6.根据权利要求5所述的方法，还包括：

计算由以下函数导出的所述雷达多普勒误差的所述损失：其中n是与所述3-D点云进行比较的雷达点的总数，其中是(x,y)的所述邻域，rr是所测量的雷达多普勒信息，并且是所述邻域中的所估计的多普勒信息，其中w是所述对应的权重。

7.根据权利要求6所述的方法，还包括：

通过计算由以下函数导出的所述损失来校正所述深度估计：

l_final＝α₁l_vs+α₂l_depth+α₃l_doppler+α₄l_smooth/reg，其中l_smooth/reg是平滑正则化项，并且α_i是加权参数。

8.根据权利要求7所述的方法，其中l_smooth/reg是任选项。