[发明专利]一种基于深度学习的立体匹配方法

摘要

本发明提供一种基于深度学习的立体匹配方法，利用深度学习方法提取特征，得到的特征谱每个点的感受野很大，但同时又不会有传统局部匹配方法带来的前景膨胀效应，解决了局部匹配方法窗口难以选取的问题。且通过深度学习得到的高维度特征谱，充分描述了区域的数据分布特征，对后面的相似性检测有很强的指导意义。本发明根据左右视图利用深度学习方法输出一个W*H*D的代价体，再利用胜者为王WTA策略得到初始视差图，最后利用原左视图作为引导图像做引导滤波，该方法具备较高的准确性，并且由于神经网络的可并行化程度高，合理的运用GPU并行加速可以使该方法达到很快的运算速度。

主权项

一种基于深度学习的立体匹配方法，其特征在于，包括以下步骤：1)将输入尺寸为W*H的左视图image1与右视图image2作为两路数据输入到深度学习网络分别进行特征提取得到代价体，W为视图宽，H为视图的高：1‑1)对左视图image1、右视图image2分别进行一次卷积及一次池化，得到各自的特征谱pool1；1‑2)对特征谱pool1进行一次卷积及一次池化，得到特征谱pool2；1‑3)对特征谱pool2进行一次带孔洞的卷积操作得到特征谱conv3；对特征谱conv3进行一次带孔洞的卷积操作得到特征谱conv4，在通道数的维度上合并特征谱conv3和特征谱conv4，并对合并结果进行卷积操作得到特征谱conv5；1‑4)将从左视图得到的特征谱conv5_left和从右视图得到的特征谱conv5_right在范围D/4内进行合并，得到D/4个合并结果concat[1]到concat[D/4]，D为预设的视差搜索范围；1‑5)将得到的D/4个合并结果concat[1]到concat[D/4]分别进行1*1的卷积操作得到特征谱conv6，对特征谱conv6做11*11的卷积得到特征谱conv7，对特征谱conv7做1*1的卷积得到特征谱conv8；1‑6)特征谱conv8经回归模型softmax分类器得到一个W/4*H/4*2的分类结果；分类结果中每个点对应的两个结果为匹配成功的概率及匹配失败的概率，保留分类结果中每个点对应的匹配失败的概率，将D/4个分类结果合并成一个W/4*H/4*D/4的代价体C3；2)将左视图image1、右视图image2的差的绝对值作为一个W*H*D的代价体C1；将左、右图像得到的特征谱pool1_left和pool1_right的差的绝对值作为一个W/2*H/2*D/2的代价体C2，最后将代价体C3、C2与C1合并得到最终的代价体一个W*H*D的代价体C；3)根据代价体C用胜者为王WTA策略寻找最佳匹配点，得到初始视差图；最后利用左视图作为引导图像对初始视差图进行引导滤波，得到最终的精确视差图。