[发明专利]全景视频序列运动估计越界折叠搜索方法

摘要

本发明提供一种全景视频序列运动估计越界折叠搜索方法，利用图像的拼接融合技术，对运动补偿过程中搜索匹配块范围越界部分的像素进行填补，从而实现可越过当前帧限定范围若干行或列搜索最小失真匹配块。相较于现有技术通过限定运动补偿过程中块匹配搜索范围不得超过当前帧大小范围的做法，本发明通过对当前帧做左右边界的拼接融合操作可以实现块匹配搜索算法的可越界搜索，能够找到失真率更小的匹配块，提高了帧间预测编码中搜索每个块在邻近重构帧中位置的准确度。

主权项

1.全景视频序列运动估计越界折叠搜索方法，其特征在于，包括以下步骤：步骤1、选取原始帧与重构帧；步骤2、对重构帧搜索范围进行越界像素填补预处理：2‑1提取重构帧的左边界部分与右边界部分；2‑2对左图像的左边缘与右图像的右边缘进行越界像素填补：当左边界部分与右边界部分无重合像素且也无缝隙，则直接将左图像的左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；当左边界部分与右边界部分有重合像素，则通过图像融合去除重复列像素后将左边界部分拼接在重构图像的右边缘，将右边界部分拼接在重构图像的左边缘；当左边界部分与右边界部分有缝隙，则通过线性插值对缝隙进行填补后将左边界部分拼接在进行了缝隙填补后的重构图像右边缘，将右边界部分拼接在进行了缝隙填补后的重构图像的左边缘；2‑3拼接的图像作为越界像素填补预处理的重构帧；步骤3、对原始帧进行分块处理；.步骤4、在原始帧中选择一个未匹配块作为待匹配块，在越界像素填补预处理后的重构帧中搜索目标匹配块选择最优匹配块；步骤5、判断原始帧中是否还有未匹配块，如是，返回步骤4，如否，搜索结束；其中，重构帧搜索范围越界像素填补预处理具体步骤如下：步骤2001：复制重构帧并将复制后的图像沿中间均分成左右两部分，将当前帧I^rec(i,j)均分成左右两部分图像,设左侧图像为I_l^rec(i,j)，左侧图像为I_r^rec(i,j)；步骤2002：判断左右边界距离d，通过SIFT特征值提取算法对左右图像做图像配准，找到左右图像的相对位置，并判断二者之间距离d的大小；当d>0时，跳转到步骤2003，当d＝0时，跳转到步骤2004，当d<0时，跳转到步骤2005；步骤2003：对左右边界做线性差值填补缝隙，以图像I^rec(i,j)和图像I_l^rec(i,j)之间的缝隙做线性插值为例，在I^rec(i,j)的右边界上任意取一点(x₁,y₁)，设该点的像素值为P₁，然后在I_l^rec(i,j)的左边界水平对应位置处取一点(x₁,y₂)，设该点的像素值为P₂，对于y坐标位于区间[y₁,y₂]内的点，其像素值P通过公式求得：对图像I^rec(i,j)和I_l^rec(i,j)或I_r^rec(i,j)间的缝隙做线性插值后，将图像I^rec(i,j)、I_l^rec(i,j)或I_r^rec(i,j)拼接融合成一幅新的图像，在新的图像中，位于I^rec(i,j)的右侧或I_r^rec(i,j)位于I^rec(i,j)的左侧；步骤2004：融合左右边界形成新的图像，由于左右图像能够严密缝合，所以对图像I(i,j)和图像I_l^rec(i,j)或I_r^rec(i,j)不做处理，直接将图像I^rec(i,j)、I_l^rec(i,j)或I_r^rec(i,j)注册成一幅新的图像，在新的图像中，I_l^rec(i,j)位于I^rec(i,j)的右侧或I_r^rec(i,j)位于I^rec(i,j)的左侧；步骤2005：去除左右边界重复像素列并融合成一幅新的图像，设加权系数为α，对I^rec(i,j)和I_l^rec(i,j)重叠区域按如下方式进行融合：I(i,j)＝αI^rec(i,j)+(1‑α)I_l^rec(i,j)其中，加权系数α满足0≤α≤1，I(i,j)为拼接融合后的新图像；去除重复列像素之后，将图像I^rec(i,j)、I_l^rec(i,j)或I_r^rec(i,j)拼接融合成一幅新的图像，在新的图像中，I_l^rec(i,j)位于I^rec(i,j)的右侧或I_r^rec(i,j)位于I^rec(i,j)的左侧。