[发明专利]视频处理

说明书

背景

存在用于处理并数字地更改视频图像的各种已知技术，这些技术可以在例如‘后生产’过程中使用以向视频添加特殊效果、从视频中移除缺陷或不想要的对象，等等。某些已知的自动技术通过跟踪照相机移动并使用跟踪数据来产生点云以映射视频图像上的点。可以使用帮助从视频中恢复多面体表面模型(也被称为表面网格)的交互式工具来构建更详细的模型。随后可以使用点云和表面模型来改变视频胶片。然而，如果视频胶片包括非刚性场景，例如，诸如由正在说话的脸部所展示的那些对象中的变形，则这可能阻止形成准确的模型。

以下描述的各实施例不限于解决已知视频处理技术的缺点中的任一个或全部的实现。

概述

下面提供本发明的简要概述以便向读者提供基本的理解。本概述不是本发明的详尽概观，并且既不标识本发明的关键/重要元素，也不描绘本发明的范围。其唯一目的是以简化形式提供在此公开一些概念作为稍后提供的更详细描述的序言。

公开了一种用于处理视频的方法和装置。在一实施例中，标识视频胶片的帧中的对象的图像特征并在整个视频胶片中跟踪这些特征中的每一个的移动来确定其迹线(轨迹)。分析该轨迹，确定该轨迹的最大分隔并用其来确定纹理图，进而对纹理图进行内插来提供对象的无包装马赛克。可以迭代该过程来提供改进的马赛克。可以在该马赛克上覆盖效果或图片并且可以经由映射来对经编辑的马赛克进行扭曲并与原始胶片的各层进行组合。效果或图片可以与对象的表面一起移动。

许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。

附图说明

根据附图阅读以下详细描述，将更好地理解本发明，在附图中：

图1示出来自视频胶片的一部分的四个示例帧；

图2示出从图1的胶片中标识的前景对象；

图3示出从视频胶片中生成的多个轨迹；

图4示出从图3中所示的轨迹中生成的2D图；

图5示出从图4中所示的2D图中生成的马赛克；

图6示出经编辑的马赛克；

图7示出来自视频胶片的一部分的四个经编辑的示例帧；

图8是用于执行视频编辑的方法的流程图；

图9是更详细地示出图8中的方法的步骤的流程图；

图10是示出在编辑过程中允许用户交互的方法的流程图；以及

图11示出可在其中实现视频编辑的示例性的基于计算的设备。

附图中使用相同的附图标记来指代相同的部分。

详细描述

下面结合附图提供的详细描述旨在作为对本示例的描述，而非表示用于解释或利用本示例的唯一形式。本说明书阐述本示例的功能以及用于构造和操作本示例的步骤序列。然而，相同或等效的功能与序列可由不同的示例来实现。

图1示出从视频胶片的一部分中取得的四个示例帧100、102、104、106的表示。胶片包括站在山脉景色110前的人108，此人从右向左转并逐渐地咧开嘴微笑。背景山脉景色110还由于云112经过太阳114前面而随着时间改变。

在示例第一帧100中，人108正看向他的右侧。可以看见他的左耳，还可以看见他鼻子左侧的痣。在几秒钟之后从视频胶片中取得第二示例帧102中，人108已经转向面对照相机。他的左耳不再可见。云112漂移到了太阳114前方。在第三示例帧104中，人108保持面向照相机并开始咧开嘴微笑。现在他的痣部分地被他的鼻子遮住。云112进一步漂移到了太阳114前方。在第四示例帧105中，人108已经转向看向他的左侧。现在痣完全地被他的鼻子遮住并且可以看见他的右耳。

该视频包括总共T个帧。在每一帧t中，在当前所捕捉的视图上的真实生活3D表面被捕捉为2D投影。3D表面此处被指定为S(u)，而2D投影被指定为I(x)，其中u是带有坐标(u，v)的2D向量而x是图像空间中带有坐标(x，y)的2D向量。可以容易地理解，未在每一帧2D投影中示出整个3D表面，例如，左耳变为因头的转向而被遮挡且痣变为因人的鼻子而隐藏。此处将其建模为‘遮挡蒙板’或‘对象空间可见性图’b(u)，b(u)具有函数：