[发明专利]用于视频修复的方法和系统

权利要求书

1.一种用于视频修复的方法，包括：

将输入视频划分为视频序列集，所述视频序列集包括一个或多个视频帧；

生成一个或多个对象掩膜，所述一个或多个对象掩膜表示一个或多个区域，所述一个或多个区域包括一个或多个在视频序列中待被删除和修复的对象；

为每个视频序列生成光流；以及

对于视频序列集中的每个视频序列：

使用光流中的至少一些，使用从视频序列中选择的补丁样本更新已经预先训练的修复模型；以及

使用更新的修复模型来修正视频序列以修复视频序列的至少一部分。

2.根据权利要求1所述的方法，其中使用光流中的至少一些，使用从视频序列中选择的补丁样本更新修复模型的步骤包括：

使用与视频序列中检测到的一个或多个对象相关的光流来限定视频序列中的一个或多个采样区域；

在一个或多个采样区域中采样一个或多个补丁；

对于每个补丁，生成相应的掩蔽补丁，所述掩蔽补丁表示补丁的掩蔽版本；以及

使用掩蔽补丁作为修复模型的输入和使用补丁作为相应的地面真实参考来更新修复模型。

3.根据权利要求2所述的方法，其中使用与视频序列中检测到的一个或多个对象相关的光流来限定视频序列中的一个或多个采样区域的步骤包括：

对于视频序列的对象掩膜：

使用来自序列的光流计算对象掩膜周围的平均速度函数；

从序列中选择视频帧；以及

使用平均速度函数估计视频序列的视频帧中的采样区域。

4.根据权利要求1所述的方法，其中生成一个或多个对象掩膜的步骤包括执行一种或多种方法，所述方法包括：

方法A：

给定待定位对象对应的已知模板，以不同的图像比例应用模板匹配来检测对象的位置和比例，并生成对象掩膜；

方法B：

应用对象检测模型，对于对象，对象检测模型检测对象并输出包围检测到的对象的边界框；以及

使用边界框形成对象掩膜；以及

方法C：

应用检测和分割联合模型来生成对象掩膜，其中检测和分割联合模型已经使用一个或多个训练数据集进行预训练。

5.根据权利要求4所述的方法，其中方法B的步骤进一步包括：

对与边界框对应的视频帧的至少一部分使用前景分割来识别一个或多个前景部分；以及

通过使用所识别的一个或多个前景部分的至少一部分改进边界框以减少对象掩膜的区域以更紧密地匹配对象而形成对象掩膜。

6.根据权利要求1所述的方法，其中生成一个或多个对象掩膜的步骤进一步包括：

对检测到的对象应用一个或多个过滤器以选择一个或多个检测到的对象的子集；以及

为一个或多个检测到的对象的子集中的每个检测到的对象生成对象掩膜。

7.根据权利要求6所述的方法，其中所述一个或多个过滤器包括以下中的一个或多个：

一个或多个位置过滤器，用于排除在视频帧的特定区域中检测到的一个或多个对象；

一个或多个大小过滤器，用于排除一个或多个特定大小的对象；

一个或多个文本识别过滤器，用于排除与特定文本相关的对象；以及

一个或多个模板匹配过滤器，用于排除特定配置的对象。

8.根据权利要求1所述的方法，进一步包括：

输出包括修正视频序列的输入视频的最终修正版本。

9.一种用于视频修复的系统，包括：

一个或多个处理器；以及

非暂时性计算机可读介质，包括一组或多组指令，当由一个或多个处理器中的至少一个执行时，所述一组或多组指令导致执行如权利要求1至8中任一项所述的方法的步骤。

10.一种非暂时性计算机可读介质，包括一个或多个指令序列，当由至少一个处理器执行时，所述一个或多个指令序列使得所述至少一个处理器执行如权利要求1至8中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，当所述计算机程序由处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。