[发明专利]引入注意力图谱的双目视差估计方法

权利要求书

1.引入注意力图谱的双目视差估计方法，其特征在于，包括步骤如下：

第一步，利用网络对左、右目图像提取特征；

获取双目相机的双目图像并通过左右视图值获取可见光图像对，进行标准化处理；为可见光图像对进行特征提取，得到基于两幅图像的特征图；将经过归一化处理的左右视图分别进行多层卷积操作，其输出为映射到高维空间的多个通道特征表示；在所述卷积过程中左右视图共享权重；

第二步，利用双目匹配方法获得代价图；

第三步，利用分类原则，进行单目视差估计，获取具有全局信息的视差分割注意力图谱；

3.1使用卷积神经网络提取初始特征图；

将第一步经过归一化处理的左视图进行一次卷积操作，其输出为多个通道的特征图；

3.2对该特征图连续进行不同程度的特征提取阶段，不同程度包括不同的残差块个数设置和不同空洞大小卷积，所以提取的特征所囊括的视野大小和特征抽象程度均不同，输出每个阶段得到的不同视野的特征图；

3.3将不同视野的特征图进行融合，并使用分类损失函数得到连续离散深度值的分类；

3.3.1将不同阶段的输出特征图分别经过不同大小空洞卷积的通道压缩，每个特征图输出D+1维度的特征；

3.3.2将四张D+1维的特征图对应位置直接相加得到融合后的视差分割注意力图谱，在该图中每个维度的对应像素位置的值所指示的是该位置视差取整后属于该离散视差值的可能性；

3.3.3在训练过程中，使用标签作为监督，以优化融合后的视差分割注意力图谱得分图，用置信标签与视差标签的距离对分成该类的概率进行加权；修改了交叉熵损失函数，将原本离散的0和1改为增益矩阵H如下所示，其中α为常数：q为预测出的值，p为当前所属分类对应的标签值：H(p，q)＝exp[-α(p-q)²]

运用这个损失函数来使本模块的效果得到优化，该损失函数如下：

其中N表示像素对个数，B表示视差可能个数，H即上文叙述的增益矩阵H，D_i^*表示对应像素位置对应视察的真实视差标签，D表示对应位置下当前视差，P(D|z_i)表示对应像素位置z_i在D视差下概率；

3.4将视差分割注意力图谱得分图复制一份对称的合并到原得分图第一维的地方；将原本的得分图除了视差为0地方，左右两个方向对称地扩张到原本的2倍大；使其和左右双目代价图模块生成的相关性计算层尺度相同；

第四步，利用具有全局信息的分割注意力图谱对代价图进行优化，并将处理后的代价图送入到视差回归网络中进行视差估计。

2.根据权利要求1所述的引入注意力图谱的双目视差估计方法，其特征在于，第二步，利用双目匹配方法获得代价图，具体步骤为：

2.1处理两张特征图，查找范围D包含2D+1个像素；将两张特征图再分别进行一次卷积操作；

2.2获取相关层；这步分别在两个2D+1维的特征图上取两个图像块进行比较， 在第一张图中，第一个映射的图像块的中心x₁，第二个映射中图像块的中心x₂，两个图像块的“相关性”被定义为：

c(x₁，x₂)为像素位置x₁与x₂之间的相关性， k为视差范围。f₁为左图特征，f₂为右图特征， o为偏移(即可能视差)；

给定一个方向上的查找范围d，对于每一个位置x₁，只在大小为D＝2d+1的范围内计算相关性c(x₁，x₂)，通过限制x₂的范围；使用步长s₁和s₂，在全局上量化x₁，并在围绕着以x₁为中心量化x₂；

取左特征图上的某一个图像块，在右图对应位置的邻域位置上进行卷积。