[发明专利]一种无监督绝对尺度计算方法及系统

权利要求书

1.一种无监督绝对尺度计算方法，其特征在于，包含位姿深度网络模型T、深度网络模型G1、深度网络模型G2、判别模型D1、判别模型D2和对抗损失函数，包括以下步骤：

S1，预备单目视频数据集和带有绝对尺度的参考深度图数据集并且两者的数据分布不相关；

S2，从步骤S1中的单目视频数据集中抽取至少2幅图像，图像中包含源图像和目标图像，并且源图像和目标图像之间存在重叠区域，源图像和目标图像通过模型T进行前向传播，计算出源图像和目标图像之间的相对位姿；目标图像经过前向传播，通过模型G1计算图像像素的深度值，计算出预测深度图；步骤S1中的参考深度图数据集经过前向传播，通过模型G2对彩色图像重构，计算出带有绝对尺度的伪造RGB图像；

S3，步骤S2中的相对位姿和预测深度图通过视觉重建，得到重投影源图像；步骤S2中的预测深度图前向传播，通过模型G2对彩色图像重构，计算出重构目标图像；步骤S2中伪造RGB图像前向传播，通过模型G1计算图像像素的深度值，计算出重构参考深度；步骤S2中的预测深度图，通过判别模型D1，以步骤S1中的参考深度图为参照，输出预测深度图的真实性概率；步骤S2中的伪造RGB图像和目标图像通过模型D2，以步骤S2中的目标对象为参照，输出伪造RGB图像的真实性概率；利用对抗损失函数计算模型G1与D1之间的对抗误差以及模型G2与D2之间的对抗误差；

S4，计算源图像与步骤S3中重投影源图像之间的重投影误差，计算目标图像与步骤S3中重构目标图像之间的重建误差，计算参考深度图与步骤S3中重构参考深度之间的重建误差；

S5，通过对抗误差、重投影误差和重建误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；

S6，将一对源图像与目标图像输入测试数据集，利用模型T与模型G1，分别前向传播，计算出带有绝对尺度的相机相对位姿和目标图像的预测深度图。

2.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G1与D1之间的对抗损失函数为：

L_adv1(G₁，D₁)＝E_xref[log(D₁(x_ref))+E_χrgb[log(1-D₁(G₁(x_rgb)))]

其中，xrgb是输入RGB图像，xref是参考深度图。

3.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S3中G2与D2之间的对抗损失函数为：

L_adv2(G₂，D₂)＝E_χrgb[log(D₂(x_rgb))]+E_χ[log(1-D₂(G₂(x_ref)))]

其中，xrgb是输入RGB图像，xref是参考深度图。

4.根据权利要求1所述的无监督绝对尺度计算方法，其特征在于，所述步骤S4中重建误差的计算方法为：

L_rec(G₁，G₂)＝E_χrgb||x_rgb-G₂(G₁(x_rgb))||₁+E_χref||x_ref-G₁(G₂(x_ref))||₁

其中，xrgb是输入RGB图像，xref是参考深度图。