[发明专利]一种双目立体匹配方法

权利要求书

1.一种双目立体匹配方法，其步骤包括：

1)特征提取网络对待匹配的左、右图像进行特征提取，得到左图像N种分辨率的特征图、右图像对应的N种分辨率的特征图；其中N为大于1的整数；

2)将左、右图像对应的同一分辨率的特征图进行相关操作，形成一个4D的匹配代价卷；然后通过尺度内聚合模块对每个4D的匹配代价卷进行局部代价聚合操作，得到与原匹配代价卷分辨率相同的全新匹配代价卷；

3)通过尺度间聚合模块对步骤2)所得N个全新匹配代价卷进行融合，得到最终的匹配代价卷；

4)根据最终的匹配代价卷得到对应N种不同分辨率对应的视差图；然后对所得各视差图进行上采样并输入StereoDRNet中，得到最终的预测视差图。

2.如权利要求1所述的方法，其特征在于，所述特征提取网络首先对输入图像进行降采样，然后采用第一残差网络对输入图像进行处理，得到分辨率为输入图像三分之一的特征图M1；然后将特征图M1输入第二残差网络进行处理，得到分辨率为输入图像六分之一的特征图M2；最后将特征图M2输入第三残差网络进行处理，得到分辨率为输入图像十二分之一的特征图M3。

3.如权利要求1或2所述的方法，其特征在于，所述尺度内聚合模块通过得到全新匹配代价卷；其中，表示在像素点p处视差为d经过尺度内聚合后的匹配代价，K²表示采样点的总数，w_k表示第k个采样点的聚合权重，p_k是像素点p的固定偏移，△p_k是可学习的额外偏移，m_k是第k个点的位置权重、用于调整聚合权重w_k，函数C为匹配代价值计算函数。

4.如权利要求1或2所述的方法，其特征在于，所述尺度间聚合模块将每一匹配代价卷分别与除本身之外的其他每一匹配代价卷进行聚合，当聚合的匹配代价卷的分辨率比当前匹配代价卷的分辨率高时，聚合匹配代价卷进行下采样操作，当聚合的匹配代价卷的分辨率比当前匹配代价卷的分辨率小时，聚合匹配代价卷进行上采样操作，通过尺度间聚合模块得到最终的匹配代价卷。

5.如权利要求4所述的方法，其特征在于，通过,对采样结果进行求和，得到匹配代价卷其中，表示在经过尺度内聚合后第r个尺度的匹配代价卷；函数f_r分为三种情况，当r＝s是恒等映射函数，即在分辨率相同的情况下，第r个尺度的匹配代价卷不做任何变换；当rs时，即当经过尺度内聚合后第r个尺度的匹配代价卷分辨率大于当前待聚合的第s个尺度的匹配代价卷分辨率时，则对第r个尺度的匹配代价卷进行下采样，使其与第s个尺度的匹配代价卷分辨率一致；若rs时，即当经过尺度内聚合后第r个尺度的匹配代价卷分辨率小于当前待聚合的第s个尺度的匹配代价卷分辨率时，则对第r个尺度的匹配代价卷进行上采样后接1x1卷积，s＝1～S，S与N值相同。

6.如权利要求2所述的方法，其特征在于，所述第一残差网络、第二残差网络、第三残差网络均是先通过1个2层卷积核为1X1的残差网络，再通过1个第一层卷积核为3X3、第二层卷积核为1X1的残差网络，最后用2层卷积核为1X1的残差网络依次连接构成。