[发明专利]深度估计网络的训练方法、图像的深度估计方法、设备

权利要求书

1.一种深度估计网络的训练方法，包括：

使用深度估计网络对原始图像进行深度估计，得到原始图像的深度图像；

从原始图像去除运动对象，得到原始图像的预处理图像；

基于所述原始图像来估计位姿，并基于所述预处理图像修正所述位姿；

根据所述原始图像、所述深度图像和经修正的位姿来调整所述深度估计网络的参数。

2.根据权利要求1所述的方法，其中，所述原始图像包括第一原始图像和位于第一原始图像相邻帧的第二原始图像，所述从原始图像去除运动对象包括：

使用分割网络分别对所述第一原始图像和所述第二原始图像进行分割，得到第一原始图像的分割图像和第二原始图像的分割图像，所述第一原始图像的分割图像和第二原始图像的分割图像中各自包括多个对象；

分别从所述第一原始图像的分割图像和所述第二原始图像的分割图像中去除多个对象中的运动对象，得到第一原始图像的预处理图像和第二原始图像的预处理图像。

3.根据权利要求2所述的方法，其中，所述使用深度估计网络对原始图像进行深度估计，得到原始图像的深度图像包括：

使用所述深度估计网络基于所述第一原始图像和所述第一原始图像的分割图像对所述第一原始图像进行深度估计，得到所述第一原始图像的深度图像；

使用所述深度估计网络基于所述第二原始图像和所述第二原始图像的分割图像对所述第二原始图像进行深度估计，得到所述第二原始图像的深度图像。

4.根据权利要求3所述的方法，其中，所述基于所述原始图像来估计位姿，并基于所述预处理图像修正所述位姿包括：

使用位姿估计网络估计所述第一原始图像和所述第二原始图像之间的位姿；

基于所述第一原始图像的预处理图像、第一原始图像的深度图像、第二原始图像的预处理图像和第二原始图像的深度图像修正所述位姿。

5.根据权利要求4所述的方法，其中，所述基于所述第一原始图像的预处理图像、第一原始图像的深度图像、第二原始图像的预处理图像和第二原始图像的深度图像修正所述位姿包括：

基于所述第一原始图像的预处理图像中每个像素点的位置信息和所述第一原始图像的深度图像的深度信息，计算所述第一原始图像的预处理图像中每个像素点的空间坐标信息；

基于所述第二原始图像的预处理图像中每个像素点的位置信息和所述第二原始图像的深度图像的深度信息，计算所述第二原始图像的预处理图像中每个像素点的空间坐标信息；

基于所述第一原始图像的预处理图像中各个像素点的空间坐标信息和第二原始图像的预处理图像中各个像素点的空间坐标信息修正所述位姿。

6.根据权利要求2所述的方法，其中，所述根据所述原始图像、所述深度图像和经修正的位姿来调整所述深度估计网络的参数包括：

基于所述经修正的位姿、第二原始图像和第二原始图像的深度图像，生成所述第二原始图像的投影图像；

基于所述第一原始图像和所述投影图像之间的差异以及所述第一原始图像和所述第一原始图像的深度图像之间的差异，确定所述深度估计网络的损失；

基于所述深度估计网络的损失调整所述深度估计网络的参数。

7.根据权利要求6所述的方法，其中，所述基于所述经修正的位姿、第二原始图像和第二原始图像的深度图像，生成所述第二原始图像的投影图像包括：

基于所述经修正的位姿、所述第二原始图像中每个像素点的位置信息和所述第二原始图像的深度图像中每个像素点的深度信息，计算所述第二原始图中每个像素点的投影位置信息；

基于所述第二原始图中各像素点的投影位置信息生成所述投影图。