[发明专利]视频循环生成

说明书

本文中所描述的各种技术涉及从输入视频(200)生成输出视频循环(202)，该输入视频包括在时间范围内的像素处的值。通过执行优化确定输入视频的时间范围内的、用于像素的相应的输入时间间隔。可以执行优化以在第一分辨率等级而指派输入时间间隔，而目标函数的项使用更精细的第二分辨率等级。用于特定像素的输入时间间隔包括来自输入视频的时间范围内的特定像素处的单个连续循环的每像素循环时段(p_x)。输入时间间隔可以基于每像素循环时段和输出视频循环时段来进行时间缩放。基于用于输入视频中的像素的输入时间间隔内的像素处的值，来创建输出视频循环(202)。

技术领域

本公开的实施例涉及视频循环生成。

背景技术

视觉图像通常可以被分类为静态图像(例如，照片、绘画)或动态图像(例如，视频、动画)。静态图像捕获单个时刻。比如，静态照片通常通过在其空间和时间边界之外隐含的内容(例如，在帧的外部并且在拍摄照片之前和之后的时刻)来推断其能力。典型地，观看者的想象力可以填充静态图像中留下的内容(例如，空间上和/或时间上)。相比之下，视频失去了一些那种能力；然而，通过变得动态，视频可以通过时间提供展开时间叙述。

视频的空间分辨率通常接近数字照片的空间分辨率。视频内容因此变得更加流行，并且随着存储和带宽的不断扩大，视频可能取代照片作为默认捕获介质。而且，可以从视频中计算视频循环，其中视频循环可以描绘在视频中捕获的场景中的周期性运动(例如，树木摇曳、水波荡漾、马尾辫在风中舞动)。可以从输入视频创建各种类型的视频循环。比如，可以从输入视频创建循环视频(例如，动态图片)，其中视频区域被选择性地冻结、播放和循环以实现引人注目的效果。循环视频可以将静态场景与重复动作组合在一起；因此，在这样的循环视频中，可以捕获到一些动作和叙述。因而，动态元素可以在帧序列中循环。

发明内容

本文中所描述的是涉及生成输出视频循环的各种技术。可以接收输入视频，其中输入视频包括在时间范围内的像素处的值。可以确定输入视频的时间范围内的、用于输入视频中的像素的相应的输入时间间隔。特定像素的输入时间间隔可以包括来自输入视频的时间范围内的特定像素处的单个连续循环的每像素循环时段。而且，可以基于用于输入视频中的像素的相应的输入时间间隔内的像素处的值来创建输出视频循环。

本文中所阐述的技术使得与传统方法相比较输出视频循环的质量能够得到增强，相对于传统方法加速输出视频循环的计算，和/或与传统途径相比较减少用于创建输出视频循环的计算系统的资源(例如，处理器周期、存储器)。根据各种实施例，可以基于每像素循环时段和输出视频循环时段来对用于像素的相应的输入时间间隔进行时间缩放。具有输出视频循环时段的输出视频循环可以基于如针对输入视频中的像素缩放的相应的输入时间间隔内的像素处的值来创建。

按照各种实施例，目标函数的优化可以被执行以确定输入视频的时间范围内的、用于输入视频中的像素的相应的输入时间间隔。优化可以被执行以在输入数据的第一分辨率等级向像素指派相应的输入时间间隔。进一步地，目标函数的项可以使用输入视频的第二分辨率等级，其中第一分辨率等级比第二分辨率等级粗糙。

根据各种实施例，输出视频循环可以至少部分地通过使用输入视频上的多个读取流来组装输出视频循环而被创建。当创建输出视频循环的帧时，输入视频上的多个读取流可以被用于将输入视频的一部分读入存储器，而输入视频的其余部分不需要存储器驻留用于创建这样的输出视频循环的帧。

根据各种实施例，泊松混合可以用于生成输出视频循环。空间混合遮罩可以被计算，其中空间混合遮罩包括指示混合像素的容易度的遮罩值。而且，通过优化目标函数，可以为像素确定输入视频的时间范围内的相应的输入时间间隔。目标函数可以包括空间一致性项和时间一致性项。空间一致性项和时间一致性项可以通过空间混合遮罩来调制。进一步地，输出视频循环可以通过基于用于输入视频中的像素的相应的输入时间间隔内的像素处的值来组装初始视频循环并且应用泊松混合以基于初始视频循环来生成输出视频循环而被创建。