[发明专利]一种基于历史信息的场景深度推理方法、装置及电子设备

说明书

本申请提供一种基于历史信息的场景深度推理方法、装置及电子设备，该方法包括：获取第一图像帧和第二图像帧；获取深度估计网络的第一深度权重及相机运动网络的第一运动权重；第一图像帧、第二图像帧、第一深度权重和第一运动权重，采用误差计算模块，计算第一误差；将第一误差作为指导信号联合更新深度估计网络的第一深度权重和相机运动网络的第一运动权重，得到第二深度权重和第二运动权重；采用误差计算模块，计算第二误差；根据第一误差和第二误差，确定第二图像帧的场景深度及第一图像帧与第二图像帧之间的相对位姿。该方案可以降低因姿态不准确而产生的错误仿射变换的影响。

技术领域

本申请属于计算机视觉与图像处理技术领域，特别涉及一种基于历史信息的 场景深度推理方法、装置及电子设备。

背景技术

从二维图像中准确的恢复出场景深度有助于更好的理解场景的三维结构，从 而更好的完成各种视觉任务。然而，普通的相机在拍摄时获取的都是二维图像， 丢失了场景的深度信息，因此如何从二维图像或者视频序列中恢复出场景深度成 为了计算机视觉领域基础且极具挑战的任务。虽然目前已能从二维图像中恢复出 有竞争的场景深度，但是需要大量的人工标注的数据去训练神经网络，耗时费力， 且一旦完成模型的训练，模型的权重即被冻结，降低了算法对未知场景的泛化能 力。此外，基于全无监督学习的方案从二维图像中恢复场景深度，需要同时从相 邻帧中预测出相机姿态，而不准确的姿态会产生错误的仿射变换结果，直接影响 合成图像的质量，从而影响到恢复的场景深度质量。

发明内容

本说明书实施例的目的是提供一种基于历史信息的场景深度推理方法、装置 及电子设备。

为解决上述技术问题，本申请实施例通过以下方式实现的：

第一方面，本申请提供一种基于历史信息的场景深度推理方法，该方法包括：

获取待测图像的第一图像帧和第二图像帧，第一图像帧为第二图像帧前一时 刻的图像帧；

获取预先构建的深度估计网络的第一深度权重及预先构建的相机运动网络 的第一运动权重；

第一图像帧、第二图像帧、第一深度权重和第一运动权重，采用误差计算模 块，计算第一误差；

将第一误差作为指导信号联合更新深度估计网络的第一深度权重和相机运 动网络的第一运动权重，得到第二深度权重和第二运动权重；

第一图像帧、第二图像帧、第二深度权重和第二运动权重，采用误差计算模 块，计算第二误差；

根据第一误差和第二误差，确定第二图像帧的场景深度及第一图像帧与第二 图像帧之间的相对位姿。

第二方面，本申请提供一种基于历史信息的场景深度推理装置，该装置包括：

第一获取模块，用于获取待测图像的第一图像帧和第二图像帧，第一图像帧 为第二图像帧前一时刻的图像帧；

第二获取模块，用于获取预先构建的深度估计网络的第一深度权重及预先构 建的相机运动网络的第一运动权重；

第一处理模块，用于第一图像帧、第二图像帧、第一深度权重和第一运动权 重，采用误差计算模块，计算第一误差；

更新模块，用于将第一误差作为指导信号联合更新深度估计网络的第一深度 权重和相机运动网络的第一运动权重，得到第二深度权重和第二运动权重；

第二处理模块，用于第一图像帧、第二图像帧、第二深度权重和第二运动权 重，采用误差计算模块，计算第二误差；

确定模块，用于根据第一误差和第二误差，确定第二图像帧的场景深度及第 一图像帧与第二图像帧之间的相对位姿。