[发明专利]一种基于深度学习的单目视觉深度估计方法

权利要求书

1.一种基于深度学习的单目视觉深度估计方法，其特征在于：包括以下步骤：

步骤1：将待估计图像输入编码网络；

所述编码网络包括卷积层1、注意力机制模块、最大池化层、N个卷积块；

所述注意力机制模块由通道注意力模块和空间注意力模块组成；其中通道注意力模块为一个一维的映射H_c∈R^C×1×1，空间注意力模块为一个二维映射H_s∈R^1×H×W；

待估计图像经过卷积层1之后输出特征图A∈R^C×H×W，其中C为通道数，H和W为特征图的高和宽；特征图A经过注意力机制模块后输出A″：

式中表示逐元素相乘，在相乘的过程中，通道注意力值沿着空间维度传播，空间注意力的值沿着通道维度传播；

特征图A″依次通过最大池化层和N个卷积块，最终得到编码网络输出A″′；

步骤2：将编码网络输出A″′输入解码网络；

所述解码网络包括N+1个解码块；每个解码块又分别由各自的卷积层A，卷积层B构成；

编码网络最终输出的A″′进入解码网络之后，首先进入解码块1，经过解码块1中的卷积层A将通道数降低，再与编码网络中卷积块N-1输出的特征图进行通道维度的拼接操作，再进入解码块1中的卷积层B，处理完成后经过一个输出通道为1的卷积操作得到当前尺度的深度图；

解码块1的输出再进入解码块2，经过解码块2中的卷积层A将通道数降低，再与编码网络中卷积块N-2输出的特征图进行通道维度的拼接操作，再进入解码块2中的卷积层B，处理完成后经过一个输出通道为1的卷积操作得到当前尺度的深度图；

依次类推，解码块N-1的输出再进入解码块N，经过解码块N中的卷积层A将通道数降低，再与编码网络中卷积层1输出的特征图进行通道维度的拼接操作，再进入解码块N中的卷积层B，处理完成后经过一个输出通道为1的卷积操作得到当前尺度的深度图；

解码块N的输出再进入解码块N+1，经过解码块N+1中的卷积层A将通道数降低，再进入解码块N+1中的卷积层B，处理完成后经过一个输出通道为1的卷积操作得到当前尺度的深度图；

共得到N+1个尺度的深度图；

步骤3：将步骤2得到的N+1个尺度的深度图分别插值到图像原有的尺度大小，并根据

计算损失，其中D′为根据估计出的深度图以及图像与参考帧之间的相对位姿变换矩阵得出的变换深度图，D″为根据D′的像素坐标以及参考帧估计的深度图插值得到的插值深度图，p为像素，V为图像的像素数量；通过上述公式计算不同尺度下的损失之后，再将这些损失相加就得到了最终的损失值loss；

步骤4：通过最小化损失值使得整个网络形成闭环，进行迭代训练，最终得到训练完成的编解码网络，并采用训练好的编解码网络进行单目视觉深度估计。

2.根据权利要求1所述一种基于深度学习的单目视觉深度估计方法，其特征在于：在所述通道注意力模块中，输入的特征图A分成两路分别进行平均池化和最大池化操作，特征图大小变为R^C×1×1；再经过多层感知机后，特征图大小变为R^C/r×1×1，r为减少率；之后两路数据经过⊙处理，所述⊙处理是指经过一个对应位置相加的操作以及一个sigmoid函数；所述通道注意力模块中的整体处理过程表示为

H_c(A)＝σ(MLP(AvgPool(A))+MLP(MaxPool(A)))

其中σ为sigmoid函数，AvgPool表示平均池化，MaxPool表示最大池化，MLP表示多层感知机操作。

3.根据权利要求1或2所述一种基于深度学习的单目视觉深度估计方法，其特征在于：在所述空间注意力模块中，输入的特征图A′先经过一个卷积层a，将特征图的通道数减半；再分成两路分别进行通道维度上的平均池化和最大池化的操作，将通道的数量降为1，特征图大小分别为R^1×H×W；再将两路数据进行通道维度上的拼接，最后再经过一个卷积层b以及sigmoid函数，得到最终空间注意力模块的处理结果H_s(A′)；所述空间注意力模块中的整体处理过程表示为

其中σ为sigmoid函数，为核函数为1×1的卷积层a，为核函数为7×7的卷积层b。