[发明专利]一种视频修复方法和系统

权利要求书

1.一种视频修复方法，其中包括：

分离待修复视频的视频和音频，其中，所述待修复视频中包括附加内容；

对所述视频进行切帧处理，得到多个视频帧；

对所述多个视频帧进行目标检测以获取附加内容信息；

获取匹配的图像信息，并以所述图像信息填充所述附加内容所在图像区域；以及

将已填充完的视频帧和分离出来的音频合成为已修复视频；

在对所述多个视频帧进行目标检测以获取附加内容信息时，获得包含附加内容的合成视频帧和不包含附加内容的原始视频帧；以及从合成视频帧中切分出包含附加内容的合成图像块及从原始视频帧的对应位置切分出原始图像块；

根据附加内容的背景对合成图像块/合成视频帧及原始图像块/原始视频帧进行场景分组得到多组图像；其中，每组图像中至少包括一个包括附加内容的待修复图像，所述待修复图像为合成图像块或合成视频帧；

其中，获取匹配的图像信息，并以所述图像信息填充所述附加内容所在图像区域的步骤包括：对同组图像进行编码，将每一图像编码后得到的两个特征图分别作为所述图像的key和value；利用注意力机制，根据同组图像的key和value获得同组待修复视频图像的新value；以及，对具有新value的待修复视频图像进行解码，得到已填充视频图像。

2.根据权利要求1所述的视频修复方法，其中在进行目标检测时，采用深度学习目标检测算法检测视频帧中的附加内容信息。

3.根据权利要求1所述的视频修复方法，其中还进一步包括：

在获取到附加内容信息后，将检测到的附加内容信息与一个或多个模板进行匹配；以及

将与所述附加内容信息相匹配的模板的标本信息作为附加内容信息。

4.根据权利要求1所述的视频修复方法，其中，获得待修复视频图像的新value的步骤包括：

对比待修复视频图像的key和其参考图像的key，获得所述参考图像相对于待修复视频图像的权重a；其中，所述参考图像为同组中除了所述待修复视频图像之外的多个图像；

计算参考图像的value与其相对于待修复视频图像的权重a的内积以得到所述参考图像的加权value；

计算待修复视频图像的value与同组参考图像的加权value的和以确定待修复视频图像的新value。

5.根据权利要求4所述的视频修复方法，其中进一步包括：在同组图像中，从每N个图像中选取一个作为参考图像，其中，所述N≥5。

6.根据权利要求1所述的视频修复方法，其中，进一步包括：

将已填充合成图像块回填到原合成视频帧中得到已填充完的视频帧。

7.一种视频修复系统，其中，包括：

分离模块，经配置以分离待修复视频的视频和音频，其中，所述待修复视频中具有附加内容；

切帧模块，与所述分离模块相连接，经配置将分离后的视频切分为多个视频帧；

检测模块，与所述切帧模块相连接，经配置对所述多个视频帧进行目标检测，以得到附加内容信息；

填充模块，与所述检测模块相连接，经配置以获取匹配的图像信息，并以所述图像信息填充所述附加内容所在的图像区域；以及

合成模块，与所述填充模块相连接，经配置以将已填充完的视频帧和分离出来的音频合成为已修复视频；

其中所述检测模块在对所述多个视频帧进行目标检测以获取附加内容信息时，获得包含附加内容的合成视频帧和不包含附加内容的原始视频帧；所述系统进一步包括切块模块，与所述检测模块相连接，经配置以从合成视频帧中切分出包含附加内容的合成图像块及从原始视频帧的对应位置切分出原始图像块；

其中进一步包括分组模块，经配置以根据附加内容的背景对合成图像块/合成视频帧及原始图像块/原始视频帧进行场景分组得到多组图像；其中，每组图像中至少包括一个包括附加内容的待修复图像，所述待 修复图像为合成图像块或合成视频帧；

其中，还进一步包括图像回填模块，经配置以将已填充合成图像块回填入原合成视频帧。