[发明专利]相机位姿的估计方法、装置、可读存储介质及电子设备

权利要求书

1.一种相机位姿的估计方法，包括：

获取目标相机拍摄的相邻的第一图像帧和第二图像帧；

确定所述第一图像帧和所述第二图像帧各自对应的第一深度图和第二深度图；

确定所述目标相机在拍摄所述第二图像帧时相对在拍摄所述第一图像帧时的相对位姿信息；

基于所述第一图像帧、所述第二图像帧、所述第一深度图、所述第二深度图、所述相对位姿信息和所述目标相机的内参，确定所述第二图像帧对应的光度误差；

基于所述光度误差，更新所述目标相机的相对位姿信息。

2.根据权利要求1所述的方法，其中，所述方法还包括：

确定当前更新所述目标相机的相对位姿信息的操作是否符合预设的迭代更新条件，其中，所述迭代更新条件包括以下至少一项：迭代次数小于或等于预设次数，两次迭代之间的光度误差的差值大于或等于预设差值；

如果符合所述迭代更新条件，重新确定所述第二图像帧对应的光度误差，并基于所述光度误差，更新所述目标相机的相对位姿信息；

如果不符合所述迭代更新条件，将最近一次更新的相对位姿信息确定为所述目标相机在拍摄所述第二图像帧时相对在拍摄所述第一图像帧时的最终相对位姿信息。

3.根据权利要求1所述的方法，其中，在所述更新所述目标相机的相对位姿信息之后，所述方法还包括：

获取所述目标相机在拍摄所述第一图像帧时对应的绝对位姿信息；

基于更新后的所述相对位姿信息和所述目标相机在拍摄所述第一图像帧时对应的绝对位姿信息，确定所述目标相机在拍摄所述第二图像帧时对应的绝对位姿信息。

4.根据权利要求1所述的方法，其中，所述基于所述第一图像帧、所述第二图像帧、所述第一深度图、所述第二深度图、所述相对位姿信息和所述目标相机的内参，确定所述第二图像帧对应的光度误差，包括：

基于所述相对位姿信息，确定表示所述目标相机由所述第一图像帧的对应时刻至所述第二图像帧的对应时刻的第一相对位姿矩阵，和表示所述目标相机由所述第二图像帧的对应时刻至所述第一图像帧的对应时刻第二相对位姿矩阵；

基于所述第二深度图、所述第二相对位姿矩阵、所述第一图像帧和所述内参，生成与所述第二图像帧对应的第二估计图像帧；

确定所述第二估计图像帧和所述第二图像帧之间的第一光度误差；

基于所述第一深度图、所述第一相对位姿矩阵、所述第二图像帧和所述内参，生成与所述第一图像帧对应的第一估计图像帧；

确定所述第一估计图像帧和所述第一图像帧之间的第二光度误差；

基于所述第一光度误差与所述第二光度误差，确定所述第二图像帧对应的光度误差。

5.根据权利要求1-4之一所述的方法，其中，所述确定所述第一图像帧和所述第二图像帧各自对应的第一深度图和第二深度图，包括：

将所述第一图像帧和所述第二图像帧分别输入预先训练的深度图生成网络，得到所述第一深度图和所述第二深度图；

所述确定所述目标相机在拍摄所述第二图像帧时相对在拍摄所述第一图像帧时的相对位姿信息，包括：

将所述第一图像帧和所述第二图像帧同时输入预先训练的位姿估计网络，得到所述相对位姿信息。

6.根据权利要求5所述的方法，其中，所述深度图生成网络和所述位姿估计网络预先基于如下步骤训练得到：

获取由双目相机拍摄的第一样本图像帧和第二样本图像帧；

将所述第一样本图像帧或所述第二样本图像帧输入初始深度图生成网络，得到第一样本深度图或第二样本深度图；

将所述第一样本图像帧和所述第二样本图像帧输入初始位姿估计网络，得到拍摄所述第二样本图像帧的镜头相对拍摄所述第一样本图像帧的镜头的样本相对位姿信息；

基于所述第一样本图像帧、所述第二样本图像帧、所述第一样本深度图或所述第二样本深度图、所述样本相对位姿信息和拍摄所述第一样本图像帧和所述第二样本图像帧的相机的内参，确定所述第二样本图像帧对应的光度误差；

将所述第二样本图像帧对应的光度误差作为损失函数，迭代训练所述初始深度图生成网络和所述初始位姿估计网络，得到所述深度图生成网络和所述位姿估计网络。