[发明专利]一种基于代价矩阵的多重软约束立体匹配方法

摘要

本发明公开了一种基于代价矩阵的多重软约束立体匹配方法，首先计算一个三维匹配代价矩阵并对其进行多尺度降采样，构成代价矩阵金字塔；同时对影像也进行相应的多尺度降采样，构成影像金字塔，并对其各层影像分别进行图像分割；然后逐层进行自适应权重的代价积聚和“投票式”分割约束下的代价积聚，并通过将上层代价积聚结果传递给下层代价矩阵，实现多尺度约束下的代价积聚；最后在底层代价矩阵中结合可靠点代价扩散方法实现立体匹配。本发明增强了匹配结果的稳定性和可靠性，大大改善了弱纹理和重复纹理区域以及视差不连续处的匹配问题，可用于改进基于图像的建模等涉及立体匹配的工程应用问题。

主权项

一种基于代价矩阵的多重软约束立体匹配方法，其特征在于，包括以下步骤：步骤1：在原始影像集中选择其中一幅核线影像作为基准影像，并对其中每个像素利用AD‑Census‑Sobel作为相似性测度，计算每个候选视差值的匹配代价，生成一个三维匹配代价矩阵；所述的AD‑Census‑Sobel相似性测度的定义如下：cost(p,d)＝exp(α*AD(p,d)+β*Census(p,d)+γ*Sobel(p,d))  (1 )；其中，p表示基准影像上的像素坐标p(x,y)，d是视差值，α，β和γ是权重系数，要求均为正数且α+β+γ＝1，AD(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的灰度差绝对值，Census(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Census匹配测度值，Sobel(p,d)是指基准影像像素p及其在匹配影像上的共轭像素p+d的Sobel匹配测度值；根据式（ 1 ） 对基准影像逐像素计算不同视差d对应的匹配代价值，构成一个由影像横坐标W，纵坐标H以及视差值D表示的三维匹配代价矩阵；步骤2：对步骤1中得到的代价矩阵进行多尺度降采样，构成代价矩阵金字塔；所述的代价矩阵金字塔的生成方法为，对步骤1中得到的三维匹配代价矩阵保持视差值D方向不变而在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成多尺度代价矩阵；步骤3：对基准影像也进行相应的多尺度降采样，构成影像金字塔；所述的多尺度降采样的方法为，对原始影像在横坐标W和纵坐标H方向采用高斯金字塔进行降采样，按照此方法经过多次降采样即可生成影像金字塔；步骤4：对步骤3中得到的影像金字塔各层影像分别进行图像分割；步骤5：对步骤2中得到的代价矩阵金字塔，从顶层代价矩阵开始对各层代价矩阵进行自适应权重的代价积聚；所述的自适应权重的代价积聚方法为，根据每个像素点p为中心预定窗口内的像素q与该点的欧氏距离dist(p,q)和灰度值差异|Ip‑Iq|确定像素点q对于像素点p代价的贡献值，如此累加窗口所有像素对于像素p代价的贡献而得到p最终的代价值cost(p,d)，具体的计算方法如下：(2)weight(q,d)＝exp(α*dis(p,q)+β*|Ip‑Iq|)其中，weight(q,d)表示进行代价积聚时邻域像素的权重值，α、β是计算该权重值时涉及的参数，分别对应欧氏距离dist(p,q)和灰度值差异|Ip‑Iq|的权重系数，要求均为正数且α+β＝1；步骤6：根据步骤4中所述的图像分割结果，对步骤5中处理后的代价矩阵进一步进行“投票式”分割约束下的代价积聚；步骤7：将该层代价积聚结果传递给下层代价矩阵，其具体实现包括以下子步骤：步骤7.1：分别对每个像素点在视差范围内的代价值进行一维最小平方卷积；步骤7.2：根据金字塔像素对应关系，将该层每个像素的代价值累加到下层对应像素相应视差的代价值；步骤8：从上往下对金字塔代价矩阵重复进行步骤5至步骤7的操作，直至原始代价矩阵，最后对原始代价矩阵进行步骤5和步骤6操作；步骤9：对步骤8中处理后得到的代价矩阵，对每个像素取代价最小且匹配置信度大于预定阈值的视差作为最终视差，然后用已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散，最后采用“赢家通吃”方法生成视差图；所述的匹配置信度即匹配代价次小值和最小值之比，对于只有匹配置信度大于预定阈值的像素才能首次取得视差；根据已取得视差的点作为控制在代价矩阵中对未匹配点进行代价扩散的方法如下：标记已匹配点和未匹配点，然后对每个已匹配点预定窗口邻域内的未匹配像素对应于该已匹配点的视差代价减去预定惩罚值，具体如下公式所示：(4)其中，p表示已匹配点，q表示未匹配点，P表示惩罚值，D(p)表示初始视差图D在p点处的取值；步骤10：在原始影像集中选择另一张影像作为基准影像，重复执行上述步骤1至步骤9，生成另一幅视差图，通过对比两幅视差图对应像素的视差一致性检测误匹配点，得到去除误匹配点视差图；对去除误匹配点视差图进行视差内插，填补误匹配造成的黑洞，生成完整视差图；利用完整视差图和影像外方位元素，根据前方交会原理计算深度图和数字表面模型。