[发明专利]一种基于历史信息的场景深度推理方法、装置及电子设备

权利要求书

1.一种基于历史信息的场景深度推理方法，其特征在于，所述方法包括：

获取待测图像的第一图像帧和第二图像帧，所述第一图像帧为所述第二图像帧前一时刻的图像帧；

获取预先构建的深度估计网络的第一深度权重及预先构建的相机运动网络的第一运动权重；

所述第一图像帧、所述第二图像帧、所述第一深度权重和所述第一运动权重，采用误差计算模块，计算第一误差；

将所述第一误差作为指导信号联合更新所述深度估计网络的第一深度权重和所述相机运动网络的第一运动权重，得到第二深度权重和第二运动权重；

所述第一图像帧、所述第二图像帧、所述第二深度权重和所述第二运动权重，采用所述误差计算模块，计算第二误差；

根据所述第一误差和所述第二误差，确定所述第二图像帧的场景深度及所述第一图像帧与所述第二图像帧之间的相对位姿。

2.根据权利要求1所述的方法，其特征在于，所述相机运动网络包括编码器、时间注意力模块和时空相关性模块；

所述编码器用于提取所述堆叠图像帧的特征，得到堆叠特征图；所述堆叠图像帧为所述第一图像帧和所述第二图像帧按通道维度堆叠得到的；

所述时间注意力模块用于将历史记忆单元的信息与当前输入单元的信息建立全局依赖关系，并通过更新单元，将全局相关的所述历史记忆单元中的信息注入到所述当前输入单元，同时将所述当前输入单元中的全局相关信息储存到所述历史记忆单元，作为下一时刻的历史记忆单元；所述当前输入单元包括所述堆叠特征图，所述堆叠特征图通过所述更新单元更新为更新后特征图，所述历史记忆单元包括第一记忆特征图和第一时间特征图，所述下一时刻的历史记忆单元包括第二记忆特征图和第二时间特征图；

所述时空相关性模块用于将所述更新后特征图/所述第二记忆特征图分别建模成为具有空间相关性的第一/第二时空特征图。

3.根据权利要求2所述的方法，其特征在于，所述将历史记忆单元的信息与当前输入单元的信息建立全局依赖关系，并通过更新单元，将全局相关的所述历史记忆单元中的信息注入到所述当前输入单元，同时将所述当前输入单元中的全局相关信息储存到所述历史记忆单元，作为下一时刻的历史记忆单元，包括：

将所述堆叠特征图中的特征信息和所述第一记忆特征图的特征信息注入到所述第一时间特征图，得到第三时间特征图；

根据所述第三时间特征图，确定时间注意力特征向量；

根据所述堆叠特征图，确定第一特征向量；

根据所述第一记忆特征图；确定第二特征向量

根据所述第一特征向量和所述时间注意力特征向量，确定基于时间注意力的输入特征向量；

根据所述第二特征向量和所述时间注意力特征向量，确定基于时间注意力的记忆特征向量；

分别将所述基于时间注意力的输入特征向量和所述基于时间注意力的记忆特征向量，调整成对应的第一特征图和第二特征图；

根据所述第一特征图和所述第二特征图，确定所述更新后特征图和所述第二记忆特征图；

根据所述更新后特征图和所述第二记忆特征图，将所述第三时间特征图更新为所述第二时间特征图。