[发明专利]一种图像自适应运动估计方法及应用

说明书

目前已有算法不考虑图像序列之间的时间间隔，假设所有图像为同一时刻获取，由此导致计算存在一定误差。本申请提供了一种图像自适应运动估计方法，包括构造第一深度卷积神经网络、第二深度卷积神经网络；根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；将单目图像输入第一深度卷积神经网络输出单目图像对应的视差图像，将图像序列输入所述第二深度卷积神经网络输出相机空间位姿变换矩阵。避免了图像之间的非重叠区域对图像重建造成的不利影响。

技术领域

本申请属于人工智能技术领域，特别是涉及一种图像自适应运动估计方法及应用。

背景技术

视觉和听觉是人类感知外界环境的主要途径，其中80％以上的外界信息是通过视觉获取的。基于视觉途径的场景感知是人工智能领域所面临的一大挑战，也是无人驾驶汽车视觉导航系统的重要组成部分。在无人驾驶汽车视觉导航系统中，场景的三维信息(场景与摄像头之间的相对距离、摄像头的空间位置及姿态等参数)发挥着重要作用。同时，由于单目相机具有体积小、设备简单、成本低廉及易于部署等优点，相对于其他传感器更具有应用优势。因此，开展针对无人驾驶场景的单目图像运动估计算法研究对无人驾驶汽车视觉导航系统的开发具有重要意义。

目前，基于深度学习的单目图像运动估计算法分为有监督学习算法和无监督学习算法两种。有监督学习算法的训练数据集由输入图像序列和每一幅图像对应的标签集组成。然而，此类标签集多由人工标记完成，极大限制的算法的应用范围，已逐渐被淘汰。无监督学习算法利用图像之间的空间几何关系设计监督信号，用于取代有监督算法中的标签集，仅使用图像即可完成深度学习模型的训练与测试，日益成为主流的研究方向。

现有方法在目标函数的设计过程中，将所有图像默认为同一时刻采集的静态图像，忽略了图像序列之间的采集时间间隔，从而不可避免地会产生一定误差，从而降低算法精度。通过对以上问题的分析发现：现有的基于无监督深度学习的单目图像运动估计方法仅从图像之间的几何关系考虑问题，忽略了时间维度。尽管较短的时间间隔不会导致算法失败，但是此类将动态场景图像默认为静态场景图像的处理方法降低了算法的精度和鲁棒性。

发明内容

1.要解决的技术问题

基于无监督深度学习的单目图像景深估计及相机空间位姿计算方法在模型训练过程中，需要使用单目图像序列作为训练样本。目前已有算法不考虑图像序列之间的时间间隔，假设所有图像为同一时刻获取，由此导致计算存在一定误差的问题，本申请提供了一种图像自适应运动估计方法及应用。

2.技术方案

为了达到上述的目的，本申请提供了一种图像自适应运动估计方法，所述方法包括如下步骤：步骤1：构造第一深度卷积神经网络、第二深度卷积神经网络；步骤2：根据所述第一深度卷积神经网络和所述第二深度卷积神经网络构建目标函数，通过所述目标函数对所述第一深度卷积神经网络和所述第二深度卷积神经网络同时进行训练，得到参数固定的第一深度卷积神经网络和参数固定的第二深度卷积神经网络；步骤3：将单目图像输入所述第一深度卷积神经网络输出单目图像对应的视差图像，将所述图像序列输入所述第二深度卷积神经网络输出相机空间位姿变换矩阵。

本申请提供的另一种实施方式为：所述第一深度卷积神经网络为单目图像景深估计网络，用于估计单目相机与场景之间相对距离；所述第二深度卷积神经网络为单目相机空间位姿估计网络，用于估计单目相机空间位置与姿态。

本申请提供的另一种实施方式为：所述单目图像景深估计网络基于深度残差网络，所述单目图像景深估计网络为“编码-解码”结构。

本申请提供的另一种实施方式为：在所述“编码”过程中，网络通过卷积层、激活层和池化层不断提取想高维特征并降采样；在所述“解码”过程中，网络通过反卷积对图像做上采样处理，输出多尺度视差图像。