[发明专利]基于共享特征和注意力上采样的双目视差匹配方法及系统

权利要求书

1.一种基于共享特征和注意力上采样的双目视差匹配方法，其特征在于，包括下述步骤：

对获取的图像进行归一化处理，将双目视觉采集到的左、右图像经预处理后输入卷积神经网络，提取1/2尺度、1/4尺度、1/8尺度、1/16尺度的特征图；

采用左、右图像的1/16尺度特征图构建匹配代价矩阵，采用三维卷积神经网络计算匹配代价矩阵，生成视差可能性特征图，采用Soft-Argmin函数计算视差可能性特征图，生成1/16尺度的初始视差图；

分别将1/16尺度的初始视差图和1/16尺度的图像特征图送入二维卷积层，进行特征提取，采用提取得到的特征估计出1/16尺度的视差残差图，采用提取的特征为每个像素估计出自适应权重，应用注意力机制，将自适应权重与视差图相对应的邻域视差值进行加权求和，实现上采样，生成1/8尺度的视差图；

所述生成1/8尺度的视差图，具体步骤包括：

分别将1/16尺度的初始视差图和1/16尺度的图像特征图送入卷积神经网络，分别提取特征，生成特征图，然后将两者的特征图沿着特征图通道拼接起来，形成融合特征图；

将融合特征图输入卷积神经网络，生成1/16尺度的视差残差图，将视差残差图与初始视差图相加，得到优化后的视差图；

将融合特征图输入卷积神经网络，利用卷积神经网络，生成1/8尺度的自适应权重图，权重图中每个像素的权重向量，代表了上采样后1/8尺度视差图对上采样前1/16尺度视差图的注意力依赖；

取1/16尺度视差图每个像素邻域像素的视差值，与权重图中对应的权重向量进行加权求和，生成1/8尺度视差图；

分别输入1/8尺度、1/4尺度、1/2尺度的视差图和对应的图像特征图，分别生成1/4尺度、1/2尺度、原尺度的视差图；

构建损失函数，根据损失函数分别计算1/16尺度、1/8尺度、1/4尺度、1/2尺度和原尺度的预测视差图与标签的损失值，求和取得总的损失值，然后进行反向传播，更新模型参数，当总的损失值不再下降时，保存模型参数；

将预处理后的图像输入模型中，获取不同尺度的视差图。

2.根据权利要求1所述的基于共享特征和注意力上采样的双目视差匹配方法，其特征在于，所述卷积神经网络由二维卷积层堆叠而成，其中包括用于下采样的二维卷积层，用于输出多种尺度的特征图。

3.根据权利要求1所述的基于共享特征和注意力上采样的双目视差匹配方法，其特征在于，所述Soft-Argmin函数具体表示为：

其中，Disp_i表示第i个像素的视差值，σ(·)表示一维的softmax函数，P_i表示视差可能性特征图上第i个像素的特征向量，d_max表示网络训练时指定的最大视差值。

4.根据权利要求1所述的基于共享特征和注意力上采样的双目视差匹配方法，其特征在于，所述加权求和具体公式如下：

其中，U(p_u)代表了1/8分辨率视差图的某个像素，p_u的坐标为(x,y)，W(p_w)代表了权重图上对应的像素，p_w的坐标为(i,j)，R_d(p_d,2r+1)为1/16分辨率视差图上对应像素的邻域，p_d的坐标为(k,j)，邻域大小为(2r+1)×(2r+1)，表示逐元素相乘操作，各坐标的对应关系为i＝k＝ceil(x/2)，j＝l＝ceil(y/2)。

5.根据权利要求1所述的基于共享特征和注意力上采样的双目视差匹配方法，其特征在于，所述损失函数采用Smooth L₁函数，具体表示为：

将预测的视差值与标签值的差输入Smooth L₁函数即可获得损失值。