[发明专利]一种视频超分辨修复方法、装置、设备及存储介质

权利要求书

1.一种基于ESRGAN的视频超分辨修复方法，其特征在于，包括：

获取待修复视频；

提取所述待修复视频中的关键帧，通过ESRGAN对所述关键帧的图像进行修复；

对所述待修复视频中的视频帧进行分组，生成帧分组；所述帧分组中包含有所述关键帧；

对所述帧分组中修复后的关键帧进行采样，生成样本块；

通过所述样本块对所述帧分组中的待修复帧进行修复；

所述对所述帧分组中修复后的关键帧进行采样，生成样本块，包括：

利用SURF算法分别对所述待修复帧以及所述关键帧进行特征点的提取；

将所述待修复帧的特征点与所述关键帧的特征点进行匹配，生成所述待修复帧与所述关键帧的图像重合区域；

提取所述关键帧在所述图像重合区域处的第一样本块，以及所述关键帧在所述图像重合区域外的第二样本块；

所述通过所述样本块对所述帧分组中的待修复帧进行修复，包括：

将所述第一样本块填充至所述待修复帧的所述图像重合区域；

利用FMM算法对所述第二样本块进行纹理合成处理，并填充至所述待修复帧在所述图像重合区域以外的图像区域。

2.根据权利要求1所述的基于ESRGAN的视频超分辨修复方法，其特征在于，所述ESRGAN基于VGG19网络构建。

3.根据权利要求1至2任意一项所述的基于ESRGAN的视频超分辨修复方法，其特征在于，所述提取所述待修复视频中的关键帧，包括：

通过将所述待修复视频输入至光流神经网络的方式提取所述待修复视频中的关键帧。

4.一种视频修复装置，其特征在于，包括：

视频获取模块，用于获取待修复视频；

关键帧修复模块，用于提取所述待修复视频中的关键帧，通过ESRGAN对所述关键帧的图像进行修复；

视频帧分组模块，用于对所述待修复视频中的视频帧进行分组，生成帧分组；所述帧分组中包含有所述关键帧；

关键帧采样模块，用于对所述帧分组中修复后的关键帧进行采样，生成样本块，所述对所述帧分组中修复后的关键帧进行采样，生成样本块，包括：

利用SURF算法分别对所述待修复帧以及所述关键帧进行特征点的提取；

将所述待修复帧的特征点与所述关键帧的特征点进行匹配，生成所述待修复帧与所述关键帧的图像重合区域；

提取所述关键帧在所述图像重合区域处的第一样本块，以及所述关键帧在所述图像重合区域外的第二样本块；

样本修复模块，用于通过所述样本块对所述帧分组中的待修复帧进行修复，所述通过所述样本块对所述帧分组中的待修复帧进行修复，包括：

将所述第一样本块填充至所述待修复帧的所述图像重合区域；

利用FMM算法对所述第二样本块进行纹理合成处理，并填充至所述待修复帧在所述图像重合区域以外的图像区域。

5.一种视频修复设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的基于ESRGAN的视频超分辨修复方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于ESRGAN的视频超分辨修复方法的步骤。