[发明专利]用于视频修复的方法和系统

说明书

本文呈现的是用于视频修复的系统和方法。在一个或多个实施例中，使用预先训练的图像修复模型，可以使用光流引导的采样来生成现场训练数据。在一个或多个实施例中，采样的补丁用于生成训练数据集，训练数据集用于进一步训练图像修复模型直到达到停止条件。自适应训练的修复模型可以用于生成修正的视频，其中期望的一个或多个对象已经被删除并且相应的删除部分已经被填充(或修复)以保持图像的完整性。

技术领域

本公开一般涉及可以提供改进的计算机性能、特征和用途的用于计算机学习的系统和方法。更特别地，本公开涉及关于视频图像编辑的系统和方法。

背景技术

视频修复，也称为视频修补，涉及尝试填充给定视频序列的缺失区域。目标是用空间相干和时间相干的内容填充视频的一部分。它有许多现实世界的应用，诸如删除不需要的对象和恢复损坏的视频文件。删除相对静止的对象，如标志和文本类的标题，也是可以从视频修复中受益的一些应用。

在过去几年中，已生成和可用的视频内容的数量急剧增加。大量视频在线发布到视频发布网站或经由视频共享应用发布。通常，发布站点、视频发布者或两者将包括诸如标志、图像、网址、标识符、社交媒体标识符等的内容。去除这些内容有时是可取的，但很难实现。

像许多其他计算机视觉应用一样，近年来基于深度学习的视频修复方法已经将性能推向了极限。早期模型使用三维(3D)卷积来尝试确保时空一致性，但它们的高内存需求限制了它们的应用，尤其是在高分辨率视频方面。

认识到视频序列中的背景和大多数对象通常具有可跟踪的运动，许多最近的视频修复方法试图利用序列的光流。一些人已经提议首先合成跨帧的相干光流，以便大多数区域可以从已知区域传播。由于并非所有缺失区域都可以通过这种方式填充，因此其他人将非局部流连接引入到时间遥远的帧以进一步提高修复性能。

当前景对象相对于背景处于运动中时，流引导的视频修复方法可以很好地去除前景对象。然而，当它从已知区域基于光流传播时，当光流估计不可靠时，它可能会重新定位导致不期望的视觉伪影的不需要的补丁。对于如标志和文本的对象，这更值得关注，因为它们相对静止并且位于运动不如中心区域显著的边界或边缘附近。对于无法通过传播恢复的区域，已经尝试基于生成对抗网络(generative adversarial network，GAN)的图像绘制方法来合成具有高空间相干性的缺失内容。然而，这些图像修复模型通常是用静止图像训练的，既不考虑视频的已知内容，也不考虑时间相干性。

因此，需要更好的系统和方法来检测、删除和替换视频中的内容。

发明内容

如上所述，需要用于检测、去除和替换视频中的内容的改进的系统和方法。本文呈现的是系统、方法和计算机可读介质，包括用于执行以下方法的指令。

在一个或多个实施例中，一种方法包括：将输入视频划分为视频序列集，视频序列集包括一个或多个视频帧；生成一个或多个对象掩膜，其表示一个或多个区域，所述一个或多个区域包括在视频序列中待被删除和修复的一个或多个对象；为每个视频序列生成光流；以及对于视频序列集中的每个视频序列：使用光流中的至少一些，使用从视频序列中选择的补丁样本更新已经预先训练的修复模型；以及使用更新的修复模型来修正视频序列以修复视频序列的至少一部分。

在一个或多个实施例中，使用光流中的至少一些，使用从视频序列中选择的补丁样本更新修复模型的步骤包括：使用与视频序列中检测到的一个或多个对象相关的光流来限定视频序列中的一个或多个采样区域；在一个或多个采样区域中采样一个或多个补丁；对于每个补丁，生成相应的掩蔽补丁，其表示补丁的掩蔽版本；以及使用掩蔽补丁作为修复模型的输入和使用补丁作为相应的地面真实参考来更新修复模型。

在一个或多个实施例中，使用与视频序列中检测到的一个或多个对象相关的光流来限定视频序列中的一个或多个采样区域的步骤包括，对于视频序列的对象掩膜：使用来自序列的光流计算对象掩膜周围的平均速度函数；从序列中选择视频帧；以及使用平均速度函数估计视频序列的视频帧中的采样区域。