[发明专利]基于像素的运动估计方法及装置

说明书

技术领域

本发明涉及视频处理领域，尤其涉及基于像素的运动估计方法及装置。

背景技术

在帧序列图像中，邻近图像帧中的景物通常存在着一定的相关性，不同的图像帧中可能含有相同的景物。但是，在不同的图像帧中，相同的景物的空间位置可能不同。某景物在输入图像中的空间位置，相对于该景物在参考图像中的空间位置，会存在一个相对偏移量，该相对偏移量就是通常所指的运动矢量。获取该物运动矢量的过程被称为运动估计（Motion Estimation）。

运动估计是视频编码和视频处理中广泛使用的一种技术。在视频编码中，运动矢量可以用来寻找参考图像帧中相关性最高的图像宏块，从而减少视频内容的冗余度。视频编码中最常见的运动估计方法是基于规则宏块的运动估计。基于规则宏块的运动估计，通常首先把输入图像划分为若干个大小相等的宏块；然后计算每一个宏块在不同候选矢量下对应的绝对差之和（SAD，Sum of Absolute Difference）；最后选取最小SAD值对应的候选矢量为该宏块的运动矢量。在视频处理中，许多技术的实现同样需要使用运动矢量。例如，视频去隔行技术、时域的超分辨率技术、时域的降噪技术以及视频插帧技术等都需要用到运动矢量。与视频编码中使用的运动矢量不同的是，视频处理通常是以像素为处理单元，因此，视频处理中需要使用基于像素的运动矢量。基于像素的运动矢量需要用基于像素的运动估计方法获取。

基于像素的运动估计方法有多种。其中比较常用的方法有基于特征跟踪的运动估计方法、全局光流法等。基于特征跟踪的运动估计方法，首先生成稀疏光流；然后对稀疏光流进行插值得到像素级别的密集光流；根据密集光流确定每一个像素的运动矢量。其中，对稀疏光流进行插值的过程需要进行密集运算。全局光流法，需要按照一定的规则对全局光流的代价进行统一建模；经过迭代运算并对光流图进行优化，在达到代价最小时输出最小代价对应的光流图；然后根据光流图确定每一个像素所对应的运动矢量。其中，迭代运算并对光流图进行优化的过程同样需要进行密集运算。

从上述内容可以看出，采用现有方法进行运动估计，获取基于像素的运动矢量，需要进行插值或迭代等密集运算，处理效率低。

发明内容

本发明实施例提供了基于像素的运动估计方法及装置，以解决现有方法需要进行密集运算，处理效率低的问题。

第一方面，本发明实施例提供了一种基于像素的运动估计方法，包括：生成输入图像相对于参考图像在每个候选矢量下的初始代价图；根据所述初始代价图生成候选代价图；根据所述候选代价图为所述输入图像的像素选取代价最小的候选矢量作为该像素的运动矢量。

结合第一方面，在第一方面第一种可能的实现方式中，所述生成输入图像相对于参考图像在每个候选矢量下的初始代价图，包括：采用计算对应像素的像素绝对差与梯度绝对差之和方式，生成输入图像相对于参考图像在每个候选矢量下的初始代价图。

结合第一方面或第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据所述初始代价图生成候选代价图，包括：对每一幅所述初始代价图进行平滑得到平滑代价图；根据所述平滑代价图确定候选代价图。

结合第一方面第二种可能的实现方式，在第一方面第三种可能的是实现方式中，所述对每一幅所述初始代价图进行平滑得到平滑代价图，包括：计算每一幅所述初始代价图与所述输入图像之间的线性关系；根据所述线性关系对每一幅所述初始代价图进行平滑得到平滑代价图。

结合第一方面第三种可能的实现方式，在第一方面第四种可能的是实现方式中，在所述计算每一幅所述初始代价图与所述输入图像之间的线性关系之前，还包括：对每一幅所述初始代价图进行下采样生成采样代价图；对所述输入图像进行下采样生成采样图像；所述计算每一幅所述初始代价图与所述输入图像之间的线性关系，包括：计算每一幅所述采样代价图与所述采样图像之间的所述线性关系。

结合第一方面第四种可能的实现方式，在第一方面第五种可能的是实现方式中，所述获取每一幅所述采样代价图与所述采样图像之间的线性关系，包括:采用线性衰退法计算每一幅所述采样代价图与所述采样图像之间的线性关系。

结合第一方面第四种可能的实现方式或第一方面第五种可能的实现方式，在第一方面第六种可能的是实现方式中，所述对每一幅所述初始代价图进行下采样生成采样代价图，之前还包括：对每一幅所述初始代价图进行均值滤波；所述对每一幅所述初始代价图进行下采样生成采样代价图，包括：对均值滤波后的每一幅所述初始代价图进行下采样生成采样代价图。