[发明专利]基于单目相机的深度光流预测方法、装置、设备及介质

权利要求书

1.一种基于单目相机的深度光流预测方法，其特征在于，包括：

获取参考图像和相邻图像，并将所述参考图像和所述相邻图像输入至已训练完成的深度光流预测模型中；

根据所述深度光流预测模型的输出结果，分别预测出所述参考图像的目标深度信息和所述参考图像到所述相邻图像的目标光流信息；

其中，所述深度光流预测模型包括深度预测网络、光流预测网络以及分别与所述深度预测网络和所述光流预测网络连接的深度光流信息交互模块。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取历史参考图像和所述历史参考图像的历史深度信息，以及，所述历史参考图像的历史相邻图像和所述历史参考图像到所述历史相邻图像的历史光流信息，并将所述历史参考图像、所述历史相邻图像、所述历史深度信息和所述历史光流信息作为一组训练样本；

构建初始深度光流预测模型，并基于多个所述训练样本对所述初始深度光流预测模型进行训练，生成所述深度光流预测模型。

3.根据权利要求1或2所述的方法，其特征在于，所述深度光流信息交互模块包括与所述深度预测网络连接的深度信息交互子模块和与所述光流预测网络连接的光流信息交互子模块；

在所述将所述参考图像和所述相邻图像输入至已训练完成的深度光流预测模型中之后，还包括：

经由所述光流信息交互子模块提取所述光流预测网络中第二特征图的原始光流信息，并根据所述原始光流信息和所述参考图像到所述相邻图像的位姿，生成中间深度信息；

经由所述深度信息交互子模块提取所述深度预测网络中第一特征图的原始深度信息，并根据所述原始深度信息和所述位姿，生成中间光流信息；

再经由所述深度信息交互子模块接收所述光流信息交互子模块发送的所述中间深度信息，并将所述原始深度信息和所述中间深度信息进行融合以得到待与所述第一特征图进行拼接的第三特征图；

再经由所述光流信息交互子模块接收所述深度信息交互子模块发送的所述中间光流信息，并将所述原始光流信息和所述中间光流信息进行融合以得到待与所述第二特征图进行拼接的第四特征图。

4.根据权利要求3所述的方法，其特征在于，所述将所述原始光流信息和所述中间光流信息进行融合以得到待与所述第二特征图进行拼接的第四特征图，包括：

分别得到所述原始光流信息的原始光流特征图以及所述中间光流信息的中间光流特征图，并将所述原始光流特征图和所述中间光流特征图进行融合，得到待与所述第二特征图进行拼接的第四特征图。

5.根据权利要求4所述的方法，其特征在于，所述得到所述原始光流信息的原始光流特征图，包括：

根据所述深度光流信息交互模块的尺度信息对所述参考图像和所述相邻图像进行缩放，分别得到参考缩放图像和相邻缩放图像；

根据所述原始光流信息将所述相邻缩放图像投影到所述参考缩放图像上，并将投影结果和所述参考缩放图像进行融合以得到残差光流特征图；

对所述残差光流特征图和所述原始光流信息进行融合以得到所述原始光流信息的原始光流特征图。

6.根据权利要求3至5中任一项所述的方法，其特征在于，经由所述深度信息交互子模块提取所述深度预测网络中第一特征图的原始深度信息，包括：

对所述中间深度信息进行卷积得到第五特征图，并将所述第五特征图和所述深度预测网络中的第六特征图进行融合以得到第一特征图；

经由所述深度信息交互子模块提取所述第一特征图的原始深度信息。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述光流预测网络包括关联层，在所述将所述参考图像和所述相邻图像输入至已训练完成的深度光流预测模型中之后，还包括：

针对从所述参考图像中提取出的第七特征图和从所述相邻图像中提取出的第八特征图，经由所述关联层基于预设点积运算确定所述第七特征图和所述第八特征图中对应像素点的匹配关系，得到关联特征图。

8.根据权利要求7所述的方法，其特征在于，所述光流预测网络还包括极线层，所述极线层输出的极线特征图与所述关联特征图相融合。