[发明专利]视频稳定

说明书

技术领域

本发明涉及视频信号的稳定（stabilisation）。特别地，本发明涉及使用摄像机捕获视频信号帧并对摄像机的运动进行补偿，从而稳定视频信号。

背景技术

摄像机可被用于捕获作为视频信号帧使用的图像的序列。可以将摄像机固定到稳定的物体，例如可以将摄像机安装在三脚架之类的支架上，从而在捕获视频帧的时候保持摄像机静止。然而，摄像机经常是在移动设备中实现的，并且未必安装在固定的物体上，例如，摄像机可能会被保持或是位于车辆之类的运动物体上。在摄像机捕获视频信号帧时，摄像机的移动可能导致视频信号本身出现不希望的移动。

图像稳定处理是一种可以用于补偿视频信号中的不希望移动的方法。一些系统执行运动估计来产生供图像稳定处理使用的运动矢量。在Julan Yang等人发表的“Online Video Stabilization Based on Particle Filters”一文中描述了一种这样的系统。图像稳定算法可以包括三个主要部分：运动估计、运动平滑以及运动补偿。运动估计部件可以估计视频信号内部的局部运动矢量，并且基于这些局部估计来计算全局运动矢量。然后，运动平滑部件可以处理针对所估计的全局运动矢量所进行的滤波，以便平滑计算得到的值以及防止在先前计算的运动矢量之间出现很大的不希望的差别。之后，运动补偿部件可以在与已滤波的全局运动矢量相反的方向上移动图像，从而稳定视频信号。所述运动补偿部件可以对旋转、扭曲或缩放之类的复杂变换加以考虑。

为了如上所述基于运动矢量来执行图像稳定处理，那么有可能需要大量的处理资源。在要实时稳定视频信号、也就是在摄像机捕获视频信号的同时使用（例如在视频呼叫中传送或者从设备中输出）稳定版本的视频信号的时候，这有可能会成为一个问题。此外，在执行图像稳定处理的设备是移动电话这类处理资源有限的小型移动设备的时候同样有可能会出现问题。

近年来，运动传感器的制造已经变得更加简单和廉价，并且运动传感器的大小也显著变小。现在，在移动设备中实现运动传感器是可行的。运动传感器产生代表传感器运动的采样。在Andy L. Lin发表的“Using Sensors for Efficient Video Coding in Hand-held devices”以及Martin Drahansk?等人发表的“Accelerometer Based Digital Video Stabilization for General Security Surveillance Systems”这两篇现有文献中述及了使用源自运动传感器的数据来稳定视频信号的可能性。

已知的处理工具“VirtualDub”提供了需要修剪视频信号的离线稳定处理（也就是非实时）。

在英国申请1109071.9中提出了一种用于在线（即实时）发送侧数字稳定的机制。该机制在很多情形中都是有效的，但其需要修剪所传送的视频。而这有可能会影响所传送的视频的质量。

发明内容

根据本发明的一个方面，提供了一种从用户设备传送视频信号的方法，该方法包括：在用户设备上使用摄像机捕获多个视频信号帧；确定设备的功能状态；以及在进行传输之前，基于功能状态来有选择地稳定视频信号。

优选地，所述功能状态是摄像机的运动程度，该方法包括：监视摄像机的运动并且将其与一个阈值相比较。

所述监视可以包括：使用与摄像机相关联的运动传感器来产生代表摄像机运动的多个采样；使用这些采样来确定摄像机在所述摄像机捕获的连续帧之间的位移；以及确定代表所确定的摄像机位移所导致的连续帧之间视频信号中的运动的像素位移，并且该方法还包括：将像素位移与阈值进行比较；如果像素位移超出所述阈值，则在传输之前稳定所述视频信号；否则在不实施稳定处理的情况下传送视频信号。

优选地，摄像机的运动是旋转运动，运动传感器是旋转运动传感器，并且摄像机的位移是摄像机的角位移。

用户设备包括前向摄像机和后向摄像机，当功能状态是选择了前向摄像机时，这时可以在不执行稳定处理的情况下传送视频信号。优选地，在选择了设备的后向摄像机的时候，这时可以对视频信号进行稳定。

优选地，使用运动传感器产生的采样的采样率要高于视频信号的帧速率。

摄像机和运动传感器可以安装在移动设备内部。

稳定视频信号的步骤可以包括：对像素位移进行滤波；以及根据已滤波的像素位移来移动第一和第二帧中的至少一个帧的图像。