[发明专利]一种无监督位姿与深度计算方法及系统

权利要求书

1.一种无监督位姿与深度计算方法，其特征在于，包含位姿网络模型TNet、深度网络模型DNet、图像视觉重建模型V和损失函数，包括以下步骤：

S1，预备单目视频数据集；

S2，从步骤S1中的单目视频数据集中抽取连续图像，将相邻图像依次输入位姿网络模型TNet，得到图像间共同的特征F，特征F输入位姿网络模型TNet，分别得到前向运动相对位姿和后向运动相对位姿；

S3，将步骤S2中的连续图像输入深度网络模型DNet，通过前向传播得到图像的深度估计结果和图像对应深度；

S4，将S2中的连续图像、前向运动相对位姿、后向运动相对位姿和图像对应深度，输入图像视觉重建模型V，得到扭曲图像；

S5，计算扭曲图像与S2中的连续图像间的重建误差，计算深度估计结果的平滑误差，计算孪生一致性误差；

S6，通过重建误差、平滑误差和孪生一致性误差求和得到损失函数，进行反向传播，进行迭代更新，直到损失函数收敛；

S7，进行预测，利用位姿网络模型Tnet和深度网络模型DNet，分别前向传播，计算出相机相对位姿和预测深度图。

2.根据权利要求1所述的无监督位姿与深度计算方法，其特征在于，所述步骤S5中扭曲图像与S2中的连续图像间重建误差的计算公式为：

L_reprojection＝α*L_photometric+(1-α)*L_ssim

其中，Lphotometric为光度误差，Lssim为图像间相似性，α是权重系数。

3.根据权利要求2所述的无监督位姿与深度计算方法，其特征在于，所述Lphotometric为：

其中，It是连续图像，Is是扭曲图像，L为连续图像图像数减1。

4.根据权利要求2所述的无监督位姿与深度计算方法，其特征在于，所述Lssim为：

其中，It是连续图像，Is是扭曲图像。

5.根据权利要求1所述的无监督位姿与深度计算方法，其特征在于，所述步骤S6中孪生一致性误差为：

其中，其中I为单位矩阵，L为连续图像图像数减1，T为位姿变换矩阵。

6.根据权利要求5所述的无监督位姿与深度计算方法，其特征在于，所述步骤S6中损失函数为：

L_Total＝L_{Reconstruction}+β*L_Smooth+γ*L_Twin

其中，Lreconstruction为，Lsoooth为深度估计结果的平滑误差，β和γ为权重系数。

7.根据权利要求1所述的无监督位姿与深度计算方法，其特征在于，所述步骤S6中损失函数利用Adam优化方法进行训练。

8.一种无监督位姿与深度计算的系统，其特征在于，包括位姿网络模块TNet、深度网络模块DNet、图像视觉重建模块V和损失函数模块；位姿网络模块TNet进行位姿估计，深度网络模块DNet进行深度估计，图像视觉重建模块V进行图像投影，位姿网络模块TNet和深度网络模块DNet通过损失函数模块约束。

9.根据权利要求8所述的无监督位姿与深度计算的系统，其特征在于，所述模块TNet包含编码器和孪生模块，编码器包含卷积层和激活函数，孪生模块包含相同结构的位姿预测模块，位姿预测模块包含ConvLstm和卷积层；模块DNet包含编码器和解码器，编码器包含卷积层和Dwise，解码器包含反卷积层、卷积层和Dwise。