[发明专利]内容感知的视频稳定

说明书

本申请要求于2008年8月28日提交的序号为No.61/092,614的美国临时专利申请的优先权。该临时专利申请以引用的方式并入本文。该临时专利申请中所包括的与本文确切内容相矛盾的任何情况，以本文的内容为准。

技术领域

本申请涉及视频处理领域，以及更特别地，涉及稳定视频。

背景技术

当摄影机用户使用不像专业电影制作公司使用的设备那么复杂的设备捕捉视频序列时，所获得的视频序列通常包括一定量的“抖动”，这种“抖动”是由所不希望的摄影机运动造成。例如，用户的手臂运动或者走动，用户所乘坐的交通工具的振动，或者安装摄影机的装置的振动或不完美运动，都是摄影机的不希望运动的可能来源。摄影机在三维(3D)空间中的运动也能够成为不希望的摄影机运动的来源，例如，由于用户行走在不完美的路线上，或者正在乘坐不是直线移动的交通工具。

一些摄影机具有内置特征，其用于尝试在捕捉视频时对不稳定的摄影机运动进行补偿。一般地，这些摄影机尝试识别视频帧中的多个点，并且逐帧跟踪这些点。摄影机使运动模型与这些点拟合，并且基于该运动模型对视频施加仿射弯曲(affine warp)。摄影机还经常对视频施加低通滤波以便尝试平滑该结果。当能够通过这样的技术来控制摄影机运动时，所得视频仍然包括明显不希望的摄影机运动。另外，仿射弯曲不遵守帧的内容，常常引起图像中的失真，并且特别是在视频中的大部分可视感兴趣对象中引起失真。

Buehler等人的“Non-Metric Image-Based Rendering for VideoStabilization”提出了用于视频稳定的机制，其包括将来自视频的多个帧进行混合以生成输出帧。Buehler机制对于静态场景效果显著，但是由于混合了多个帧，导致在场景中包括动态运动的视频出现重影和模糊。

发明内容

在一个实施例中，一种方法包括：接收源视频序列；确定对于将要被稳定的源视频序列的稳定摄影机路径；以及生成稳定的视频序列，其中稳定的视频序列中的每个帧由输入序列的相应帧的内容感知弯曲来生成。

在一个实施例中，一种方法包括接收源视频序列；生成来自于源视频序列的原始摄像机路径的度量重构；确定对于将要被稳定的源视频序列的稳定摄像机路径；以及生成稳定的视频序列，其中在稳定的视频中的每个给定时间点处的帧仅从在源视频序列中该给定时间点处的相应帧导出。

附图说明

图1示出用于视频序列的示例性实际摄像机路径以及示例性稳定的摄像机路径。

图2是图1的扩展视图，示出来自实际摄像机路径的帧和来自实际帧的在稳定的摄像机路径上的稳定帧的生成。

图3是示出一个视频稳定实施例的流程图。

图4是示出来自图3的块的一个更详细的实施例的流程图。

图5是为原始图像定义的网格(mesh)的示例。

图6是用于相应的稳定图像的弯曲的网格的示例。

图7是来自示例源视频的示例图像。

图8是与图6所示网格一起弯曲的图像的示例。

图9是不具有显著性(salience)加权弯曲的图像的示例。

图10是具有显著性加权弯曲的图像的示例。

图11示出在一个实施例中使用的各种等式。

图12示出可以用于实施例的示例性计算机系统。

尽管在此本申请以多个实施例以及示意性附图示例的方式描述，但是本领域技术人员应该认识到，本发明不限于所描述的实施例或附图。应该理解，在此描述的附图和对其进行的详细描述并非意图将本发明限制在所公开的特定形式，而是与此相反，其目的在于覆盖落在本发明精神与范围内的所有修改、等价物以及备选。在此使用的标题仅用于组织目的，而并非意图限制说明书的范围。贯穿本申请所使用的词语“可以”表示许可的意思(即，意味着具有潜在可能性)，而不是强制的意思(即，意味着必须)。类似地，词语“包括”、“包含”意味着包含，但并非限制。

具体实施方式