[发明专利]双目立体匹配装置及方法

权利要求书

1.一种双目立体匹配装置，其特征在于，所述装置包括：

空间特征提取模块，与双目摄像装置相连，用于获取所述双目摄像装置采集并传来的左图像和右图像，并基于预存的空间特征图提取模型从所述左图像提取出多个不同分辨率的第一空间特征图以及从所述右图像中提取出多个不同分辨率的第二空间特征图；

语义分割模块，与所述空间特征提取模块相连，用于根据预存的语义特征图提取模型提取出每个所述第一空间特征图对应的第一语义特征图以及每个所述第二空间特征图对应的第二语义特征图；

边界检测模块，与所述空间特征提取模块相连，用于根据预存的边界特征图提取模型提取出每个所述第一空间特征图对应的第一边界特征图以及每个所述第二空间特征图对应的第二边界特征图；

匹配代价构建模块，与所述空间特征提取模块、语义分割模块和边界检测模块相连，用于将所述多个不同分辨率按照从低至高的顺序分成若干个阶段，在每个阶段，采用基于距离的方法分别构建出针对所述第一空间特征图和第二空间特征图的第一匹配代价、针对所述第一语义特征图和第二语义特征图的第二匹配代价以及针对所述第一边界特征图和第二边界特征图的第三匹配代价；

代价融合模块，与所述匹配代价构建模块相连，用于基于注意力引导机制根据每个阶段的所述第一匹配代价、第二匹配代价及第三匹配代价进行计算生成与各个所述阶段对应的融合匹配代价；以及

视差图获取模块，与所述代价融合模块相连，用于按照分辨率从低到高的顺序依次在各个阶段采用预存的视差解码器对所述融合匹配代价进行解码并视差回归以产生每个阶段的过渡视差图和第一阶段后的每一阶段的过渡残差图，其中，将最后一阶段之前的每一阶段的过渡视差图进行双线性上采样后本阶段对应的倍数与下一阶段的过渡残差图的求和结果作为下一阶段的过渡视差图，而最后一阶段的过渡视差图进行双线性上采样本阶段对应的倍数作为目标视差图，最后一阶段之前的每个阶段对应的分辨率与本阶段对应的倍数的乘积均等于下一阶段的分辨率，最后一阶段之前的分辨率与本阶段对应的倍数的乘积等于目标视差图的分辨率。

2.如权利要求1所述的双目立体匹配装置，其特征在于，所述匹配代价构建模块包括：

第一代价计算单元，用于采用基于距离的方法分别构建出第一阶段对应的第一匹配代价、第二匹配代价和第三匹配代价；

特征处理单元，用于从第二阶段开始，在每个阶段将前一阶段对应的过渡视差图进行双线性上采样至当前阶段对应的分辨率后与当前阶段对应的第二空间特征图、第二语义特征图和第二边界特征图进行扭曲操作以获得当前阶段的过渡空间特征图、过渡语义特征图和过渡边界特征图；以及

第二代价计算单元，用于从第二阶段开始，在每个阶段采用基于距离的方法分别构建出针对当前阶段的所述第一空间特征图和过渡空间特征图的第一匹配代价、针对所述第一语义特征图和过渡语义特征图的第二匹配代价以及针对所述第一边界特征图和过渡边界特征图的第三匹配代价。

3.如权利要求1所述的双目立体匹配装置，其特征在于，所述空间特征图提取模型为预先训练好的ResNet50网络模型。

4.如权利要求1所述的双目立体匹配装置，其特征在于，所述代价融合模块包括：

注意图生成单元，用于采用所述第一匹配代价生成注意图；以及

计算单元，用于根据所述注意图、第一匹配代价、第二匹配代价和第三匹配代价计算生成与各个所述阶段对应的融合匹配代价。

5.如权利要求1所述的双目立体匹配装置，其特征在于，所述视差解码器是基于堆积的3D卷积层的视差解码器。