[发明专利]一种视频超分辨修复方法、装置、设备及存储介质

说明书

本申请公开了一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质，该方法的步骤包括：获取待修复视频；提取待修复视频中的关键帧，对关键帧的图像进行修复；对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；对帧分组中修复后的关键帧进行采样，生成样本块；通过样本块对帧分组中的待修复帧进行修复。本方法相对降低了视频修复过程的数据处理量，进而提高了视频修复的整体效率。此外，本申请还提供一种视频修复装置、设备及存储介质，有益效果同上所述。

技术领域

本申请涉及视频修复领域，特别是涉及一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质。

背景技术

当前视频修复技术主要采用的是超分辨率技术(Super-Resolution)，它是指从观测到的低分辨率图像重建出相应的高分辨率图像，在视频监控、医学影像和卫星图像等领域都有重要的应用价值。

对于视频修复，在本质上是对视频中的每一帧的画面进行超分辨的修复，以此到达对视频整体修复的目的，增强分辨率的效果。但是，当前的应用场景下，视频往往是长时间录制生成的，因此视频中所包含的视频帧的数量相对庞大，这就导致对每一帧视频帧进行超分辨处理，数据处理量较为庞大，并且对于视频修复的整体效率相对较低。

由此可见，提供一种基于ESRGAN的视频超分辨修复技术，以相对降低视频修复过程的数据处理量，并提高视频修复的整体效率，是本领域技术人员需要解决的问题。

发明内容

本申请的目的是提供一种基于ESRGAN的视频超分辨修复技术、装置、设备及存储介质，以相对降低视频修复过程的数据处理量，并提高视频修复的整体效率。

为解决上述技术问题，本申请提供一种基于ESRGAN的视频超分辨修复技术，包括：

获取待修复视频；

提取待修复视频中的关键帧，通过ESRGAN对关键帧的图像进行修复；

对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；

对帧分组中修复后的关键帧进行采样，生成样本块；

通过样本块对帧分组中的待修复帧进行修复。

优选的，ESRGAN基于VGG19网络构建。

优选的，对帧分组中修复后的关键帧进行采样，生成样本块，包括：

利用SURF算法分别对待修复帧以及关键帧进行特征点的提取；

将待修复帧的特征点与关键帧的特征点进行匹配，生成待修复帧与关键帧的图像重合区域；

提取关键帧在图像重合区域处的第一样本块，以及关键帧在图像重合区域外的第二样本块。

优选的，通过样本块对帧分组中的待修复帧进行修复，包括：

将第一样本块填充至待修复帧的图像重合区域；

利用FMM算法对第二样本块进行纹理合成处理，并填充至待修复帧在图像重合区域以外的图像区域。

优选的，提取待修复视频中的关键帧，包括：

通过将待修复视频输入至光流神经网络的方式提取待修复视频中的关键帧。

此外，本申请还提供一种视频修复装置，包括：

视频获取模块，用于获取待修复视频；

关键帧修复模块，用于提取待修复视频中的关键帧，通过ESRGAN对关键帧的图像进行修复；

视频帧分组模块，用于对待修复视频中的视频帧进行分组，生成帧分组；帧分组中包含有关键帧；