[发明专利]一种应用于视频帧速率上转换的运动向量场生成方法

说明书

技术领域

本发明涉及视频图像处理领域，特别涉及一种应用于视频帧速率上转换的运动向量场生成方法。

背景技术

帧速率上转换在较低帧率的视频中周期性地插入新的帧以提高视频的帧速率。在低帧率视频编码正常帧率回放、视频格式转换等应用中，能有效地提升观看者的观看体验度。

在现有的帧速率上转换算法中，基于运动补偿的算法比那些简单帧重复或前后帧平均的算法具有更好的性能，原因在于视频图像往往存在由运动物体引入的动态区域，基于运动补偿的算法试图在运动轨迹上插值每个像素，通过运动估计和邻域滤波的紧密结合，有可能避免由于简单重复引入的帧间跳动，以及由于帧平均引入的运动模糊。

对于基于运动补偿的算法，以下两个要素将决定插值帧的质量：(1)如何估计每个像素的真实运动以还原它们的运动轨迹；(2)如何在或多或少存在一些不可靠的运动向量的情况下，构建在视觉上物体呈现连续且平滑运动的插值帧。对于第一个要素，困难来自于运动估计本身是一个病态问题，并且现有的运动估计技术，大多数是针对视频编码设计的。它们以最小化补偿冗余、降低编码码率为目标，估计的运动向量有时并不反映物体的真实运动。

需要指出的是，对块匹配算法而言，块的大小将影响运动向量的可靠性和精度，当一个区域呈现一致的运动，采用较大尺寸的块有利于减小图像噪声对于匹配搜索过程的影响，相反地，在运动物体的边缘等区域，采用较小的块有利于捕捉那些复杂的运动；位于灰度均匀区域的块，块匹配搜索过程容易受到图像噪声的影响，对于这样的区域，在其它区域确定了运动向量以后，以邻近块的运动向量作为参考向量，更有利于得到反映该区域真实运动的运动向量，而且也有利于减少计算代价；另外，对于露出区域，采用紧邻插值帧的前一帧和后一帧作块匹配运动搜索得到的运动向量注定是不可靠的，需要处于插值帧后的连续两帧来反推插值帧对应位置的运动向量。

发明内容

本发明所要解决的技术问题在于提供一种应用于视频帧速率上转换的运动向量场生成方法，该方法根据视频图像时间域运动特征，自适应地在呈现单一运动的区域采用较大的块，在呈现复杂运动的区域采用较小的块进行块匹配运动估计，从而有效地避免由于在一个块的内部包含来自不同运动对象的像素而引入的错误的运动向量；根据空间域纹理信息，在具有均匀灰度、缺少纹理细节的区域采用较大的块尺寸，并且以与其相邻且具有明显纹理信息的邻域块的运动向量作为候选向量估计这些块的运动向量，以避免不可靠的运动向量。

为实现上述目的，本发明提供一种应用于视频帧速率上转换的运动向量场生成方法，包括以下步骤：

步骤一，读取时间域紧邻待插值帧，且在其之前的一帧，记作I₀，紧邻待插值帧且在其之后的两帧，记作I₁和I₂，以I₀为当前帧，I₁为参考帧，以多分辨率、变块尺寸的方式估计运动向量场MF_0，其中的每个向量对应I₀中的一个块，以向量的形式给出该块与参考图像中的最佳匹配块之间的相对偏移；

步骤二，判断运动向量场MF_0中的各个运动向量是否可靠；

步骤三，运动向量投影处理，根据插值帧I_Δt和I₀之间的时间间隔，将向量场MF_0中的各个可靠的运动向量投影赋予插值帧的像素，结果为一个与I_Δt相同大小的向量场MF_X；

步骤四，对于向量场MF_X中没有被赋予运动向量的区域，寻求一个由插值帧I_Δt出发，穿过I₁和I₂，且能得到I₁和I₂之间最小匹配代价的向量作为运动向量。

进一步，所述步骤一，以多分辨率、变尺寸块匹配的方式估计运动向量场，将自适应地划分图像成不同尺寸的子块的过程建模成一个动态系统，以状态向量s＝[s₁，s₂，...，s_N]^T描述，其中N是总的块数，s_i＝(x_i，y_i，w_i)代表第i个粒子，与一个图像块相对应，(x_i，y_i)是块的左上角点坐标，w_i是宽度和高度方向以像素计的块大小，在粒子滤波的框架下，由重要性密度函数q驱动，以迭代的形式实现运动向量场估计，包括以下步骤：