[发明专利]基于混合2D卷积和伪3D卷积的立体匹配方法

权利要求书

1.基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，包括以下步骤：

基于预设参数提取图像特征，得到特征图；

基于所述特征图生成代价卷；

通过PSMNet结构代价聚合得到代价聚合后的代价卷，通过视差回归得到初始视差图；其中，在PSMNet结构中将3D卷积换成混合2D卷积和伪3D卷积的组合；

通过初始视差生成残差代价卷，通过残差代价聚合，得到视差残差优化初始视差图；其中，残差代价聚合的3D卷积换成混合2D卷积和伪3D卷积的组合；

对优化的视差图采用CSPNet的方法进行深度图进一步优化。

2.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，所述方法还包括采用PSMNet的沙漏结构的版本通过视差回归得到初始视差图，并将其3D卷积换成本发明提出的混合2D卷积与伪3D卷积组合。

3.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，对代价卷采用深度切换方式及2D卷积公式代价聚合，在所述深度切换方式的基础上采用所述2D卷积与所述伪3D卷积间隔排列的方式。

4.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，采用初始的视差图重构右特征图为生成左特征图，然后与原始左特征图生成残差代价卷。

5.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，采用PSMNet结构提取图像特征；其特征为：

其中，H为输入图像高，W为输入图像的宽。

6.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，采用相识度衡量的方式生成代价卷。

7.根据权利要求3所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，所述2D卷积公式中，采用3×3×3时的表达如下：

其中，为代价卷cost volume，为卷积之后输出通道数，h、w、d分别为特征图的通道数、宽和深度，c为输入通道数，i、j、z分别为高、宽以及深度维度的索引。

8.根据权利要求1所述的基于混合2D卷积和伪3D卷积的立体匹配方法，其特征在于，所述CSPNet的视差优化方法，采用CSPNet的卷积仿射传播来优化视差，其中视差优化更新次数为4次。