[发明专利]引入注意力图谱的双目视差估计方法

说明书

本发明公开了引入注意力图谱的双目视差估计方法，具体涉及一种利用深度学习数据学习能力获取全局信息，生成注意力图谱，引导双目视差估计的方法。本发明提出的注意力图谱，通过引出独立分支，更好的提取图像全局特征、语义结构，得到的注意力图谱通过加权的方式作用在代价上，起到匹配引导作用，保证具有相同语义结构区域具有平滑分布的视差。同时本发明提出一种基于稀疏标签进行微调的策略。在微调不同阶段采用不同监督策略，通过重建误差引导、稀疏修正、平滑约束优化，可以在稀疏数据集上达到方法的最优效果，解决了无标签区域效果差问题。

技术领域

本发明属于图像处理和计算机视觉领域，涉及一种引入注意力图谱的双目视差估计方法，具体涉及一种利用深度学习数据学习能力获取全局信息，生成注意力图谱，引导双目视差估计的方法。

背景技术

双目深度估计是通过两张标定好的左右视图，根据每个像素在不同视图之间的相对位置得到对应的视差值，根据相机成像模型，将视差恢复成图像的深度信息。现有的双目深度估计的方法主要分为传统方法和深度学习的方法。

传统方法分为局部算法和全局算法，局部算法利用窗口内邻域像素的相似度进行匹配。全局方法构造一个能量函数，包括像素点本身的匹配代价和不同像素点间的约束关系，通过最小化能量函数来得到最终的视差图。传统方法运行时间过长，精度不高，特别是在无纹理和遮挡区域误匹配误差较高。

深度学习方法是通过神经网络端到端的学习出左右视图的视差图，基本框架主要包括特征提取、构建代价卷、视差聚合、优化视差。将左右视图输入网络中，通过特征提取网络得到左右特征图，然后在不同视差下进行匹配，得到低分辨率的代价卷，聚合优化部分分为两种方法：一是优化低分辨率的代价卷，逐步恢复成原分辨率，最后用soft argmin计算出视差图。二是低分辨率的代价卷先得到低分辨率的视差图，将视差图逐步上采样优化得到最终原分辨率的视差图。基于多层卷积得到的特征具有更强的表征能力，但由于计算消耗的限制，特征覆盖感视野仍然较小，导致大片无纹理区域仍存在误匹配现象。另外真实数据往往难以获得稠密、完美的标签，通常标签是不完整的、稀疏的。因此在真实数据上进行微调时，现有监督策略往往受稀疏标签影响，难以达到最优效果

发明内容

本发明旨在克服现有的深度学习方法的不足，本发明提出一种新的解决大片无纹理区域误匹配问题的思路，即注意力图谱；通过在双目视差估计网络中引出独立分支，用于更好的获取全局信息、语义结构信息，得到的注意力图谱通过加权的方式作用在代价上，用得到的语义结构信息对双目立体匹配进行引导，修正误匹配区域，保证具有相同语义结构区域具有平滑分布的视差。同时本发明提出一种在稀疏标签数据上进行微调的策略，解决了无标签区域效果差、微调效果难以达到最优的问题。

具体方案包括：

引入注意力图谱的双目视差估计方法，包括步骤如下：

第一步，利用网络对左、右目图像提取特征；

获取双目相机的双目图像并通过左右视图值获取可见光图像对，进行标准化处理；为可见光图像对进行特征提取，得到基于两幅图像的特征图；将经过归一化处理的左右视图分别进行多层卷积操作，其输出为映射到高维空间的多个通道特征表示；在所述卷积过程中左右视图共享权重；

第二步，利用双目匹配方法获得代价图；

第三步，利用分类原则，进行单目视差估计，获取具有全局信息的视差分割注意力图谱；

3.1使用卷积神经网络提取初始特征图；

将第一步经过归一化处理的左视图进行一次卷积操作，其输出为多个通道的特征图；

3.2对该特征图连续进行不同程度的特征提取阶段，不同程度包括不同的残差块个数设置和不同空洞大小卷积，所以提取的特征所囊括的视野大小和特征抽象程度均不同，输出每个阶段得到的不同视野的特征图；