[发明专利]用于视频稳定的运动滤波

说明书

技术领域

本发明涉及视频稳定，更具体地涉及视频帧序列的运动滤波，其考虑了针对可应用到每个视频帧的校正运动量的实际限制。

背景技术

通过视频相机捕捉的视频帧序列可能包括期望的运动，但如在摇摄全景(pan)的情况下，也同样可能包括不期望的运动。在手持视频相机例如相机电话的情况中，该不希望的运动波动通常是由视频捕捉期间不期望的手部抖动造成的。特别是在高缩放率的情况下，相对较小的运动波动(其在当处理例如小型相机电话时通常是不可避免的)将导致所捕捉的视频帧产生很大的位移。

视频数据中不希望的运动波动的影响可以借助视频稳定系统来减轻。由于不经意移动的影响在高缩放率处上升，所以视频稳定对于能够进行多于3x缩放的设备而言尤其重要。具有视频获取功能的消费设备的当前开发和小型化提高了对可靠和高效的视频稳定解决方案的需求。

通常，视频稳定是通过以下来实现的：将一定量的校正运动位移应用到每个视频帧，从而将其针对邻近的帧对准，使得消除不希望的相机运动所引起的高频波动或抖动的影响。

为此，视频稳定系统所应用的视频稳定操作通常包括运动估计、运动滤波和运动补偿。

运动估计用于确定视频序列连续帧之间的全局位移，该全局位移也称为原始运动，并且包括期望的和不期望的运动。

运动滤波负责在原始运动的期盼分量和不希望的分量之间进行区分。通常，期盼运动是平滑的。因此，可以通过对原始运动进行低通滤波而确定期望的运动轨迹。图1是示出了视频帧序列的帧0至250的垂直位置的图示。第一曲线11表示通过示例性的估计原始运动而得到的视频帧的垂直位置，第二曲线12表示通过对这些视频帧的原始运动进行低通滤波而得到的视频帧的垂直位置。

一旦已经估计了期盼的运动，则可以计算校正位移，其必须应用到各视频帧上以确保原始运动和期盼运动之间的差异被取消。必须注意的是，对于实时实现，滤波过程必须是符合因果关系的。也就是说，仅可以基于先前的运动数据来计算当前帧经过滤波的运动采样，因为没有未来信息可用。图2是示出了视频帧184的邻近视频帧的垂直位置的视图。再次，第一曲线11表示通过示例性的估计原始运动而得到的视频帧的垂直位置，而第二曲线12表示通过对原始运动进行低通滤波而得到的视频帧的垂直位置。此外，对于视频帧184，给出校正垂直位移21，其必须被应用到帧184以校正垂直位置。

最后，运动校正用于根据针对运动滤波中的该视频帧所确定的校正位移来改变各视频帧的位置。考虑该校正的一种途径是在稳定系统的输出处递送比在系统的输入处更小的帧尺寸，如图3中所示例。图3表示较大的输入帧31，其包括相机传感器所捕捉的整个帧数据，并且在该较大的输入帧31的中心设置较小的输出帧32。输出帧32通过校正位移34移位到输出帧33。因此校正包括裁剪较大的输入帧31，以从由校正位移34所确定的较大输入帧31内的适当位置处获取输出帧33矩形。

例如，在S.Ertürk的“Digital image stabilization with sub-imagephase correlation based global motion estimation”，ConsumerElectronics，IEEE Transactions on Volume 49，Issue 4，Nov.2003，页1320-1325中描述了适当的运动估计。

现在将借助数学公式来更详细地描述示例性运动滤波过程。为了简化该表达，仅考虑了相邻帧之间的平移。运动滤波操作进一步独立地针对水平和垂直运动来应用，从而下列方程式应用于其中之一。

相对于视频帧输入序列的第一帧的第n个帧的水平或垂直方向上的原始运动由z_n来表示并被定义为：

z_n＝s_n+u_n    (1)

其中，s_n和u_n分别表示全局帧位置中的期盼分量和不希望的分量。对于每个帧n，为了稳定视频帧的序列，需要-u_n个像素的校正位移。

如前所述，对于实时实现而言很重要的方面在于仅基于当前和先前的观察来即时地对原始运动进行滤波。通常，这意味着仅基于采样z_n，z_n-1，...，z₁来确定当前滤波的运动s_n。