[发明专利]一种立体影像全局优化匹配的平滑项参数计算方法及设备

说明书

本发明提供了一种立体影像全局优化匹配的平滑项参数计算方法，该方法包括根据当前层的视差初值计算每个像素的邻域方向的二阶梯度值，根据该邻域方向的二阶梯度值，计算每个像素的传递消息源方向的视差梯度，根据每个像素的传递消息源方向的视差梯度和相应的前一像素的匹配代价，得到每个像素的每个匹配代价的平滑项参数。本发明的平滑项参数计算方法，对每个像素的所有邻域方向都计算二阶梯度值，可以得到更高的匹配精度和更好的匹配鲁棒性，对弱纹理的倾斜面匹配效果尤其明显，解决了现有的立体影像全局优化匹配算法匹配精度低的问题。

技术领域

本发明涉及图像处理与机器视觉领域，具体涉及一种立体影像全局优化匹配的平滑项参数计算方法及设备。

背景技术

立体影像全局优化匹配算法以全局能量最小化为目标，通过基于能量方程的全局优化实现整体匹配。能量方程一般包括数据项和平滑项。数据项指立体影像对应某一视差的对应点的相似度，可以通过灰度距离、互信息、相关系数、CENSUS距离等一种或几种的组合表示；平滑项指相邻两个像素的视差出现变化时施加的惩罚参数，平滑项及其对应的全局优化方法是区别于局部匹配算法的关键步骤。

常见的全局优化匹配算法有置信度传播算法(Belief Propgation,BP)，图割算法(Graph Cuts,GC)，总变分(Total Variation,TV)及广义总变分(Total GeneralizedVariation,GTV)。传统的全局优化算法隐含一种“正面平行”(Frantal-Parallel)效应，即更“喜欢”或“擅长”匹配视差相同的平面，在视差变化的区域，尤其是视差变化的弱纹理区域，会出现“正面平行”效应导致的台阶状视差，而不是平滑的视差平面。近些年出现的改进算法通过过度参数化的方法，将每一点的视差初始化为一个随机平面，通过局部优化和全局优化的组合使用，对倾斜面取得了较好的匹配效果。但计算量较传统做法显著增加。

全局优化匹配方法以全局能量最小化为目标，通常采用如下形式的能量方程：

其中，E(D)表示全局能量大小，D表示整幅影像的“视差图”，q为像素p的相邻像素，Np表示像素p相邻像素的合集。Dp和Dq表示这两个像素的视差。C表示像素p在视差为Dp时的数据项，表示左右片像素的相似程度，S为平滑项，表示Dp和Dq不同时施加的惩罚。

图1为SGM算法的消息传播路径示意图，如图1所示，消息沿左右、上下和两个斜45度方向单向传播，每个像素只接受一个邻域像素的消息。图2为MGM算法的消息传播路径示意图，如图2所示，消息同样沿8个方向独立传播，但每个像素会接受两个邻域像素的消息。需要指出的是，这两个邻域像素已经各自接受了同样来自两个邻域像素的消息，而不是其他未接受消息传播的邻域像素。图3为BP算法的消息传播路径示意图，如图3所示，消息沿上下、左右四个方向传播，每个像素接受来自三个非传播方向邻域像素的信息。经典的BP算法通过多次迭代实现消息在整幅影像内的传播。

图4为平滑项参数设置方法的示意图，平滑项参数设置方法与全局优化算法无关，即同一种平滑项参数设置方法可以适用于不同的全局优化算法。也就是说，SGM、MGM、BP等消息传播优化算法和其他的全局优化算法如GC都可以采用类似的平滑项参数设置方法。SGM的双参数平滑模型是比较有代表性的平滑项模型，如图4所示，以从左到右的传播路径为例，像素P的第k个匹配代价接受像素P1消息的方法为：将像素P1的最小匹配代价Lmin加上一个较大的惩罚参数Q2，将像素P1的第k-1个、k+1个匹配代价L_k-1、L_k+1加上一个较小的惩罚参数Q1。像素P1的第k个匹配代价保持不变。设Lmin+Q2、L_k-1+Q1、L_k+1+Q1、L_k的最小值为Ls，则像素P的第k个匹配代价加上Ls-Lmin为像素P的消息值。