[发明专利]用于利用空间-时间记忆网络处理视频内容的方法和系统

说明书

本公开的实施例涉及用于定位视频内容中的目标对象的空间‑时间记忆网络。某些方面涉及使用空间‑时间记忆网络来定位视频内容中的一个或多个目标对象，以用于分割或其他对象分类。在一个示例中，视频编辑器通过将空间‑时间记忆网络应用于来自视频内容的查询帧的特征来生成查询键图和查询值图。视频编辑器取回用空间‑时间记忆网络从来自视频内容的记忆帧的集合计算的记忆键图和记忆值图。视频编辑器通过将相似性函数应用于记忆键图和查询键图来计算记忆权重。视频编辑器使用加权和将查询帧中的内容分类为描绘目标特征，该加权和包括被应用于记忆值图中的记忆位置的记忆权重。

相关申请的交叉引用

本公开要求于2018年10月12日提交的美国临时申请号62/744,919以及于2019年3月5日提交的美国非临时申请号16/293,126的优先权，其全部内容通过引用并入于此。

技术领域

本公开总体上涉及用于视频回放系统的视频内容的自动处理。更具体地，但不作为限制，本公开涉及使用空间-时间记忆(memory)网络来定位视频内容中的一个或多个目标对象，以用于有助于视频编辑的分割或其他对象分类。

背景技术

由于因特网上的共享视频内容的普及，对用不同视觉效果增强视频内容的视频编辑应用有更多的需求。自动视频编辑通常用商业交互工具来执行，新手用户需要大量时间来有效地使用该商业交互工具。在视频编辑器中，用户可能希望向视频添加一个或多个视觉效果，诸如改变背景的颜色、改变前景的颜色、添加插图等。视频编辑可以涉及标识目标特征，该目标特征要跨多个帧被编辑、将跨多个帧保持不变、或其一些组合。在一个示例中，视频编辑可以涉及将前景像素与背景像素分离。前景像素和背景像素的这种分离通常是用于其他视频编辑的初步步骤，其他视频编辑诸如操纵对象的颜色和添加视觉效果(例如，从可以被丢弃或保持不变的背景内容中分割要被编辑的前景对象)。例如，AfterEffects CC提供了用于视频对象分割的“RotoBrush”工具。

然而，现有的视频编辑器通常要求广泛的用户交互，当在视频帧中选择目标对象时，可以证明这些用户交互是繁琐且费力的。例如，视频编辑器工具(例如，RotoBrush)可以用于在一个帧中选择目标对象并将对相同目标对象的选择填充到相邻帧。但是，应用于第一帧中的目标对象的分割掩模相对于如第二帧中所描绘的目标对象可能不准确。例如，如果目标对象的位置或定向在第一帧和第二帧之间改变太多，则被自动填充到第二帧的分割掩模可能无法包含目标对象的部分、可能包含除目标对象之外的对象，或两者都有。

用于对视频中的特征进行分类(例如，从背景内容分割前景对象)的常规方法依赖于使用第一帧中的对象分类来检测其他帧中的对象(例如，使用第一帧的掩模来检测其他帧的分割掩模)，或将先前的对象分类(例如，之前帧的掩模)传播到后续帧。然而，这些方法在适应跨帧的目标对象的外观变化或防止漂移方面可能具有局限性。在涉及分割的示例中，如果掩模估计方法严重依赖于第一帧的掩模来检测其他帧中的目标对象，则相对于目标对象的外观变化可能降低其他帧中的分割掩模的准确度。在涉及先前帧的掩模的传播的另一示例中，可以跟踪目标对象的外观变化，但是误差累积可能导致被跟踪掩模的大的漂移。例如，被传播的掩模可能模糊到背景或收缩，这可能导致被传播的掩模跟踪期望的目标对象之外的区域或对象。

诸如在线学习方法的一些现有技术通过使用经训练的神经网络模型自动执行视频帧中的分类任务(例如，分割前景像素和背景像素)解决了这些问题。在一个示例中，在线学习方法可以在第一帧中使用初始分类任务(例如，应用分割掩模)并且可以微调深度网络模型以记住目标对象或特征的外观。在这些方法中，仅用一个数据样本(即，视频帧的集合的第一帧)来执行深度网络模型的学习过程。