[发明专利]场景深度和相机运动预测方法及装置、电子设备和介质

权利要求书

1.一种场景深度预测方法，其特征在于，包括：

获取t时刻的目标图像帧；

通过场景深度预测网络，利用t-1时刻与场景深度相关的第一隐状态信息，对所述目标图像帧进行场景深度预测，确定所述目标图像帧对应的预测深度图，其中，所述场景深度预测网络是基于相机运动预测网络辅助训练得到的；

其中，所述通过场景深度预测网络，利用t-1时刻与场景深度相关的第一隐状态信息，对所述目标图像帧进行场景深度预测，确定所述目标图像帧对应的预测深度图，包括：

对所述目标图像帧进行特征提取，确定所述目标图像帧对应的第一特征图，其中，所述第一特征图为与场景深度相关的特征图；

根据所述第一特征图和t-1时刻的所述第一隐状态信息，确定t时刻的所述第一隐状态信息；

根据t时刻的所述第一隐状态信息，确定所述预测深度图。

2.根据权利要求1所述的方法，其特征在于，t-1时刻的所述第一隐状态信息包括t-1时刻的不同尺度下的所述第一隐状态信息；

所述对所述目标图像帧进行特征提取，确定所述目标图像帧对应的第一特征图，包括：

对所述目标图像帧进行多尺度下采样，确定所述目标图像帧对应的不同尺度下的所述第一特征图；

所述根据所述第一特征图和t-1时刻的所述第一隐状态信息，确定t时刻的所述第一隐状态信息，包括：

针对任一尺度，根据该尺度下的所述第一特征图和t-1时刻的该尺度下的所述第一隐状态信息，确定t时刻的该尺度下的所述第一隐状态信息；

所述根据t时刻的所述第一隐状态信息，确定所述预测深度图，包括：

将t时刻的不同尺度下的所述第一隐状态信息进行特征融合，确定所述预测深度图。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取t时刻对应的样本图像帧序列，其中，所述样本图像帧序列包括t时刻的第一样本图像帧和所述第一样本图像帧的相邻样本图像帧；

通过相机运动预测网络，利用t-1时刻与相机运动相关的第二隐状态信息，对所述样本图像帧序列进行相机位姿预测，确定所述样本图像帧序列对应的样本预测相机运动；

通过待训练的场景深度预测网络，利用t-1时刻的所述第一隐状态信息，对所述第一样本图像帧进行场景深度预测，确定所述第一样本图像帧对应的样本预测深度图；

根据所述样本预测深度图和所述样本预测相机运动，构建损失函数；

根据所述损失函数，对所述待训练的场景深度预测网络进行训练，以得到所述场景深度预测网络。

4.根据权利要求3所述的方法，其特征在于，所述根据所述样本预测深度图和所述样本预测相机运动，构建损失函数，包括：

根据所述样本预测相机运动，确定所述样本图像帧序列中所述第一样本图像帧的相邻样本图像帧相对所述第一样本图像帧的重投影误差项；

根据所述样本预测深度图的分布连续性，确定惩罚函数项；

根据所述重投影误差项和所述惩罚函数项，构建所述损失函数。

5.一种相机运动预测方法，其特征在于，包括：

获取t时刻对应的图像帧序列，其中，所述图像帧序列包括t时刻的目标图像帧和所述目标图像帧的相邻图像帧；

通过相机运动预测网络，利用t-1时刻与相机运动相关的第二隐状态信息，对所述图像帧序列进行相机位姿预测，确定所述图像帧序列对应的预测相机运动，其中，所述相机运动预测网络是基于场景深度预测网络辅助训练得到的；

其中，所述通过相机运动预测网络，利用t-1时刻与相机运动相关的第二隐状态信息，对所述图像帧序列进行相机位姿预测，确定所述图像帧序列对应的预测相机运动，包括：

对所述图像帧序列进行特征提取，确定所述图像帧序列对应的第二特征图，其中，所述第二特征图为与相机运动相关的特征图；

根据所述第二特征图和t-1时刻的所述第二隐状态信息，确定t时刻的所述第二隐状态信息；

根据t时刻的所述第二隐状态信息，确定所述预测相机运动。

6.根据权利要求5所述的方法，其特征在于，所述预测相机运动包括所述图像帧序列中相邻图像帧之间的相对位姿。