[发明专利]用于通过基于约束的转动平滑的数字视频稳定的系统和方法

说明书

提供了用于通过基于约束的转动平滑的数字视频稳定的系统和方法。可以提供数字视频数据，数字视频数据包括具有相关联的时间戳的一组图像帧以及具有相关联的时间戳的一组相机方向数据。通过最小化在连续的图像帧之间的转动速率可以生成一组平滑的相机方向数据，同时最小化根据这组平滑的相机方向数据重新定向所产生的一组平滑的图像帧内的空白区域的量。

技术领域

本公开的主题涉及信号处理。更尤其地，本公开涉及用于图像和视频处理的系统和方法。

背景技术

近年来，广泛流行能够捕捉视频的数码相机。虽然这些用户装置的分辨率和图像质量提高为在某些设置中比得上数码单反相机(DSLR)，但是其视频质量依然可能明显比胶片相机的视频质量更差。这个质量差距的原因可以是双重的。首先，与胶片相机相比，手机可以明显更轻。结果，在这种装置上的手持式视频捕捉可以显示更大量的相机抖动。其次，手机摄像头可能具有利用滚动快门(RS)的传感器。在RS相机内，每个图像行可能在略微不同的时间曝光，这会与未抑制的相机运动一起在输出视频内造成“摇晃”。

视频稳定是用于减少由摄像机抖动产生的高频帧到帧跳动的一类技术。在专业照相机中，通常使用机械图像稳定(MIS)系统。例如，在MIS系统中，操作人员可以佩戴分开相机的运动和操作人员的身体运动的安全带。其他MIS系统使相机的光学部件(而非照相机机体本身)稳定。这些系统可以移动透镜或传感器，以补偿小幅俯仰与偏航运动。这些技术实时运行，并且不需要在相机上计算。然而，由于这些系统的价格和尺寸，所以这些系统不适合于移动装置和便宜的相机。数字视频稳定系统可以使用特征跟踪器来稳定拍摄后的视频。然而，这些系统可以对噪音(例如，快速移动的前景目标)敏感并且需要不同的特征来跟踪。结果，基于特征跟踪的数字稳定通常中断，尤其在不利的照明条件和过量的前景运动中。此外，在帧之上提取和匹配视觉提示，可以在计算上昂贵。而且，费用随着视频的分辨率增大。在某些情况下，这可以太昂贵，以至于不能实时进行视频稳定。结果，这种方法很少用于当前的数码相机内。制造商可以反而给高端DSLR选择更稳健的(并且昂贵的)机械稳定解决方案。

发明内容

尤其在所附权利要求中公开了根据本发明的实施方式，涉及一种方法、储存介质以及系统，其中，还可以在另一个权利要求范畴(例如，系统)内要求在一个权利要求范畴(例如，方法)内提及的任何特征。

为了稳定数字视频，在一个实施方式中，计算机实现的方法、系统以及计算机可读介质可以提供数字视频数据，其包括具有相关联的时间戳的一组图像帧以及具有相关联的时间戳的一组相机方向数据。通过最小化在连续的图像帧之间的转动速率可以生成一组平滑的相机方向数据，同时最小化根据一组平滑的相机方向数据重新定向所产生的一组平滑的图像帧内的空白区域的量。

在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小化为0。

在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小化为低于阈值。

在一个实施方式中，可以根据这组图像帧相关联的时间戳和这组平滑的相机方向数据，翘曲这组图像帧，以形成一组校正的图像帧。

在一个实施方式中，根据这组图像帧相关联的时间戳和这组平滑的相机方向数据翘曲这组图像帧以形成一组校正的图像帧可以包括将单独的图像帧分成多个子部分。每个子部分可以具有相关联的时间戳和相机方向。根据这组图像帧相关联的时间戳和这组平滑的相机方向数据翘曲这组图像帧以形成一组校正的图像帧可以包括根据相关联的时间戳和相机方向，重新排列每个子部分，以形成单独的校正的图像帧。

在一个实施方式中，可以显示这组校正的图像帧，作为视频。

在一个实施方式中，在所产生的一组平滑的图像帧内的空白区域的量可以被最小化为低于阈值。

在一个实施方式中，低于阈值的空白区域的量可以进行图像修补。