[发明专利]深度估计装置的训练方法、深度估计设备及存储介质

权利要求书

1.一种对深度估计装置进行训练的方法，所述装置用于估计图像的深度，所述方法包括：

向n个所述装置中的每个装置输入n个样本图像，输入至所述装置的n个样本图像的顺序被设置成使得各个装置所接收的第1个样本图像彼此不同，n为大于等于2的整数；

利用所述装置所包含的第一神经网络，基于n个样本图像来估计第1个样本图像的深度图和从拍摄其他样本图像的相机的坐标系变换至拍摄第1个样本图像的相机的坐标系的变换矩阵；

基于所述变换矩阵来构建使得n个装置相互关联的第一损失函数，其包括：

计算从第j个样本图像到第k个样本图像的变换矩阵和从第k个样本图像到第j个样本图像的变换矩阵的乘积与单位矩阵之间的差距，作为第j个样本图像与第k个样本图像之间的第一局部损失函数，其中j≠k且j，k∈(1,2,……，n)，和

将n个样本图像中两两样本图像之间的所有第一局部损失函数相加，以得到所述第一损失函数；以及

通过使至少包括所述第一损失函数和第三损失函数的总体损失函数最小化来确定所述装置的参数，其中，所述第三损失函数表示下述中的至少之一：所估计的深度图与真实深度图之间的差距、所估计的变换矩阵与真实变换矩阵之间的差距和所估计的光流与真实光流之间的差距。

2.根据权利要求1所述的方法，还包括：

利用所述装置所包含的与所述第一神经网络耦接的第二神经网络，基于n个样本图像来估计其他样本图像相对于第1个样本图像的光流，其中第一神经网络基于n个样本图像和所估计的光流来估计第1个样本图像的深度图和从其他样本图像的相机的坐标系变换至第1个样本图像的相机的坐标系的变换矩阵；以及

基于所估计的光流来构建使得n个装置相互关联的第二损失函数，

其中，通过使还包括所述第二损失函数总体损失函数最小化来确定所述参数。

3.根据权利要求2所述的方法，其中，构建所述第二损失函数包括：

计算第j个样本图像相对于第k个样本图像的光流与第k个样本图像相对于第j个样本图像的光流的负数之间的差距，作为第j个样本图像与第k个样本图像之间的第二局部损失函数，其中j≠k且j，k∈(1,2,……,n)；以及

将n个样本图像中两两样本图像之间的所有第二局部损失函数相加，以得到所述第二损失函数。

4.根据权利要求2或3所述的方法，其中，所述总体损失函数为所述第一损失函数、所述第二损失函数和所述第三损失函数的加权和。

5.根据权利要求1至3中任一项所述的方法，其中，所述第一神经网络为编码-解码网络。

6.根据权利要求2或3所述的方法，其中，所述第二神经网络为编码-解码网络。

7.一种深度估计设备，包括：经由根据权利要求1至6中任一项所述的方法训练的一个或更多个深度估计装置。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有能够由处理器运行来执行以下操作的程序：

向用于估计图像的深度的n个深度估计装置中的每个装置输入n个样本图像，输入至所述深度估计装置的n个样本图像的顺序被设置成使得各个深度估计装置所接收的第1个样本图像彼此不同，n为大于等于2的整数；

利用所述深度估计装置所包含的第一神经网络，基于n个样本图像来估计第1个样本图像的深度图和从拍摄其他样本图像的相机的坐标系变换至拍摄第1个样本图像的相机的坐标系的变换矩阵；

基于所述变换矩阵来构建使得n个深度估计装置相互关联的第一损失函数，其包括：

计算从第j个样本图像到第k个样本图像的变换矩阵和从第k个样本图像到第j个样本图像的变换矩阵的乘积与单位矩阵之间的差距，作为第j个样本图像与第k个样本图像之间的第一局部损失函数，其中j≠k且j，k∈(1,2,……，n)，和

将n个样本图像中两两样本图像之间的所有第一局部损失函数相加，以得到所述第一损失函数；以及

通过使至少包括所述第一损失函数和第三损失函数的总体损失函数最小化来确定所述深度估计装置的参数，其中，所述第三损失函数表示下述中的至少之一：所估计的深度图与真实深度图之间的差距、所估计的变换矩阵与真实变换矩阵之间的差距和所估计的光流与真实光流之间的差距。