[发明专利]一种基于块匹配视差估计的中间视图合成方法

权利要求书

1.一种基于块匹配视差估计的中间视图合成方法，其特征在于实现步骤如下：

(1)读入两幅初始图像，并按照视差估计和虚拟视点合成的要求对读入的两幅初始图像进行预处理；

(2)以两幅初始图像中的一幅为目标图像，另一幅为参考图像，使用自适应选择窗口大小的视差估计方法，求出参考图像到目标图像的视差矢量图：首先计算出目标图像中每个M×N大小的块与参考图像中匹配块之间的位移矢量，再计算出目标图像中每个(M/2)×(N/2)大小的块与参考图像中匹配块之间的位移矢量，最后根据误差最小原则对每一块自适应地在以上两种匹配模式中选择较优模式；然后交换目标图像和参考图像，得到双向视差信息；

(3)根据步骤(2)求出的双向视差矢量图，以及预处理后两幅初始图像的灰度及纹理信息，利用双目视觉原理和反向映射方法，直接在两幅初始图像中寻找待合成视图的每个像素点，将两幅初始图像中分别找到的最佳匹配点与视差信息相结合，根据位置参数进行加权运算，最后得到完整的虚拟视点绘制结果。

2.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法，其特征在于：所述步骤(1)中的具体实现如下：

(1.1)读入两幅初始图像，所述两幅初始图像由水平摄像机组在同一时刻拍摄自同一场景，所述两幅初始图像仅在拍摄视角上存在差异且尺寸相同；

(1.2)若两幅初始图像为彩色图像，则分别将其转化为灰度图像，然后进行步骤(1.3)；若两幅输入图像为灰度图像，则直接进行步骤(1.3)；

(1.3)对两幅灰度图像进行扩边处理，在每一幅图像的左右各增加b个像素，b须满足包含所有双目视图中只存在于一幅视图的场景内容，并令增加的像素灰度值为0，即参考图像高度不变，宽度增加2×b个单位，且增加的部分为黑色，并且另外开辟空间保存。

3.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法，其特征在于：所述步骤(2)中的具体实现如下：

(2.1)首先将目标图像分为M×N的块，称为宏块，其中M为每块宽度，N为高度，求出目标图像与参考图像对应位置块的SAD，作为搜索时用于比较的初始值；SAD定义为目标图像块与参考图像块之间的绝对值误差和，计算方法如下：

SAD[T(m,n),R(p,q)]=Σi=1MΣj=1N|GT(m+i,n+j)-GR(p+i,q+j)|]]>

为其中块的大小为M×N，T(m，n)为目标图像中某一块的左上角点，(m，n)为T的位置坐标；R(p，q)为参考图像中某一块的左上角点，(p，q)为R的位置坐标；G_T、G_R分别为目标图像和参考图像在某一坐标点的灰度值；i、j为遍历参数，分别依次取从0到M-1和从0到N-1之间的整数；

对目标图像中的每一宏块，在参考图像中寻找灰度最接近块，具体为，计算每一宏块匹配范围内每个位置与待匹配块之间的SAD，使SAD值取得最小的参考图像对应位置即为最佳匹配块，并保留这个SAD最小值，记为其中上标M×N代表所使用块的宽度乘以高度，代表尺寸；下标min代表这个SAD是所有匹配位置得到的SAD的最小值；当块的尺寸为正方形，即M＝N时，将这个SAD最小值记为

将搜索到的最佳匹配块位置记录下来，并求出目标块与最佳匹配块之间的位移矢量，即视差，记作

d(m,n)M×N=(m-p,n-q)]]>

其中上标M×N代表所使用块的宽度乘以高度，表示尺寸；下标(m，n)代表待匹配的目标块的左上角坐标，(i，j)表示视差矢量值，即水平方向和垂直方向上目标块和最佳匹配块的相对位移；当块的尺寸为正方形，即M＝N时，同一块的视差值记作

对目标图像中的每一宏块进行匹配，求出每一宏块与参考图像中最佳匹配块之间的SAD和；

(2.2)将目标图像重新分块，分为(M/2)×(N/2)的块，称为子块，重复步骤(2.1)中所述对目标图像中的每一块在参考图像中寻找灰度最接近块的方法，计算每一块匹配范围内每个位置与待匹配块之间的SAD，使SAD值取得最小的参考图像对应位置即为最佳匹配块，并保留这个SAD最小值，记为将搜索到的最佳匹配块位置记录下来，并求出目标块与最佳匹配块之间的位移矢量，即视差，记作

(2.3)使用SAD最小准则选择较优匹配模式，即比较1个M×N大小的宏块与最佳匹配块之间的SAD值和4个(M/2)×(N/2)大小的子块与它们各自的最佳匹配块之间的SAD值之和，记为而每块最终视差为：

d(m,n)finalM×N=d(m,n)M×N,SADminM×N≤Σi=14SADmin(M/2)×(N/2)[d(m,n)(M/2)×(N/2)]4,SADminM×N>Σi=14SADmin(M/2)×(N/2)]]>

其中为子块视差矩阵，(m，n)表示4个子块中最左上角的坐标；符号[·]₄表示子块视差矩阵由与宏块位置对应的4个子块组成：

[d(m,n)(M/2)×(N/2)]4=d(m,n)(M/2)×(N/2)d(m,n+N/2)(M/2)×(N/2)d(m+M/2,n)(M/2)×(N/2)d(m+M/2,n+N/2)(M/2)×(N/2).]]>

4.根据权利要求1所述的基于块匹配视差估计的中间视图合成方法，其特征在于：所述步骤(3)中的具体实现如下：

(3.1)求出左视图到右视图的视差图d^LR中的最大值d^LR_max，然后对于待合成的虚拟视点视图中每一点(X，Y)，求函数g^L(x)＝|X-(x+αd^RL(x，y))|在x∈[X-αd^RL_max，X+αd^RL_max]区间内的最小值，记为g^L_min(x^L)，并保存使g^L_min(x)取得最小的x值，记为x^L，至此已找出对于待合成的虚拟视点视图中每一点，左视图中与之最相近的点；

(3.2)求出右视图到左视图的视差图d^RL中的最大值d^RL_max，然后对于待合成的虚拟视点视图中每一点(X，Y)，求函数g^R(x)＝|x^I-(x+αd^LR(x，y))|在x∈[x^I-αd^LR，x^I+αd^LR]区间内的最小值min(g^R(x))＝g^R(x^R)，并保存x^R，至此已找出对于待合成的虚拟视点视图中每一点，右视图中与之最相近的点；

(3.3)按照亮度加权公式I^M(x，y)＝(1-α)I^L(x^L，y)+αI^R(x^R，y)，直接从左右视图中与待合成视图间最相近点，得到中间视图合成的结果I^M。