[发明专利]视频修复方法

权利要求书

1.一种视频修复方法，其特征在于，包括以下步骤：

1）对含有缺失区域的原始视频进行预处理；

2）对原始视频进行图像帧的区域识别分割，得到对应的掩膜，基于掩膜到原始视频的映射，从第一帧至最后一帧依次计算各图像帧顶层至底层的像素特征，并提取图像帧序列中的运动信息；

3）将原始视频视为关于帧数、帧宽和帧高三维的长方体，在该长方体中设置一个立方体滑块，让滑块从长方体的初始点沿着原始视频的帧宽、帧高和帧数这三个维度方向遍历滑动，当滑动到有掩膜区域时，更新当前滑块位置为起始点，以该起始点为中心随机初始化一个比该滑块更大的立方体滑动空间，比对掩膜区域边缘的光流特征信息，在该滑动空间范围内找到最匹配的样本块，依次填充并重建当前滑块位置中掩膜区域的像素特征，以进行修复；

4）每次更新滑块的位置为起始点时，重复步骤3），直到原始视频中所有的掩膜区域得到修复，然后输出初步修复的视频；

5）将初步修复的视频输入到前向-后置神经网络进行优化，把优化后对应的掩膜区域的内容填充入原始视频对应的位置，完成修复并输出修复好的完整视频。

2.如权利要求1所述的方法，其特征在于，原始视频的预处理包括锐化和增加去噪滤镜。

3.如权利要求1所述的方法，其特征在于，基于原始视频的预处理，检测视频中每个像素点是运动的还是静止的，判断该视频是否属于背景运动或摄像机运动的情况，如是，则通过仿射运动模型重新调整视频后再提取运动信息，如不是，则判定该视频属于静态背景，直接提取运动信息。

4.如权利要求1所述的方法，其特征在于，运动信息提取方法为：根据像素特征将原始视频的每一对相邻帧做匹配计算，求出运动矢量估计值，剔除估计值中的坏值，得到全局运动矢量观测值；用光流法基于全局运动区域的光流场求取前景目标的稠密运动矢量，结合全局运动矢量观测值的预估，提取运动目标的全局运动模型参数特征。

5.如权利要求1所述的方法，其特征在于，像素特征包括图像帧的纹理、边缘、尺度空间、梯度以及角点、局部极值点。

6.如权利要求1所述的方法，其特征在于，立方体滑块在原始视频中的遍历方法为：滑块以原始视频的长方体的一个角的顶点为起始点，沿着滑块所涵盖的当前若干帧的帧宽或帧高的方向滑动，滑到长方体边界时再向帧高或帧宽方向滑动一个步长，再同样沿着帧宽或帧高的方向滑动，当遍历完当前若干帧后再向前滑动一个步长，对下一步长的若干帧进行遍历。

7.如权利要求1所述的方法，其特征在于，每当滑块滑动到包含掩膜区域的位置时，初始化一个边长大于2倍滑块边长的立方体滑动空间，在该滑动空间范围内通过ANNsearch方法，找到最匹配的样本块。

8.如权利要求1所述的方法，其特征在于，在滑动空间内完成掩膜区域的修复方法为：由运动目标的全局运动模型估测滑动空间内局部运动矢量值，采用Horn-Schunck光流分析法计算滑动空间中掩膜块边缘稠密光流场，由滑动空间中心点的局部运动矢量值和掩膜边缘光流矢量估测沿边缘穿入掩膜块的运动矢量，并以该矢量值向帧数方向扩张进行PQ乘积量化计算，找到最匹配的填充块并依次填入掩膜区域完成修复。

9.如权利要求1所述的方法，其特征在于，前向-后置神经网络的优化策略为：通过输入的若干个连续图像帧，预测出下一时刻的视频图像帧，然后通过内插计算，在输入的若干个连续帧的末帧和预测出的图像帧中间生成一个内插帧，该帧即为优化后的帧，并替代视频中的对应帧。

10.如权利要求9所述的方法，其特征在于，前向-后置神经网络的优化方法为：对于初步修复的视频，从第一帧开始查找，依次把每一个被块填充修复的帧作为末帧，该末帧连同其前面若干个连续帧输入到前向-后置神经网络中，输出优化后的帧替代初步修复的视频中对应的末帧，完成所有修复帧的优化。