[发明专利]视频超分辨率重建方法、装置、计算设备及存储介质

说明书

本发明公开了一种视频超分辨率重建方法、装置、计算设备和存储介质，其中方法包括：将待处理帧和相邻帧输入预设的光流估计网络模型中，得到待处理帧与相邻帧之间的帧间光流；通过光流转换建立帧间光流与待处理帧及其相邻帧之间的关系，基于所述关系生成光流集；利用光流集对相邻帧做运动补偿，将运动补偿后的相邻帧与待处理帧组合，得到待处理帧集；将所述待处理帧集输入到预训练的超分重建模型，得到待处理帧对应的超分帧。通过上述方案，本发明实现了端对端的训练与重建，增强了超分重建模型的特征拟合能力，提高了结果的准确性和时间一致性，重建出的视频帧更逼真、细节更丰富、给人的视觉感受更好。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种视频超分辨率重建方法、装置、计算设备及存储介质。

背景技术

超分辨率重建(Super-Resolution,SR)是计算机视觉的一个重要研究分支。SR重建的目的是将输入的低分辨率(Low Resolution,LR)图像/视频经过一定的算法模型处理，重建出相应的高分辨率(High Resolution,HR)图像/视频，即使输出的图像/视频具有更高的像素密度，提高表征细节的能力。该技术可以应用在手机拍照增强、人脸图像处理、公共安全、遥感图像增强、医学图像处理等领域。

VSR(Video Super-Resolution,视频超分辨率重建)模型的输入是时间上连续的多帧图像，增加了高度相似的时间信息，其中相邻的LR视频帧之间的运动差异，可以看成是同一场景在不同退化模式下产生的LR结果。由于基于深度学习的VSR模型需要考虑如何有效利用视频帧之间的时间信息，因此本质上更加复杂，难度较大，相关研究较少，准确性达不到生产生活所需。比如，Kappeler等人提出了VSRnet模型，将CNN网络推广到VSR问题中，但该模型不是一个端到端的模型，运动估计和补偿由传统方法实现，没有涵盖在CNN模型内，且在大比例因子下重建的细节存在一定的模糊。

发明内容

鉴于上述问题，提出了本发明以便提供一种至少能够克服模型特征拟合能力不足、重建的视频帧准确性和时间一致性差以及细节模糊等问题的视频超分辨率重建方法、装置、计算设备及存储介质。

根据本发明的一个方面，提供了一种视频超分辨率重建方法，所述方法包括：

将待处理帧和相邻帧输入预设的光流估计网络模型中，得到待处理帧与相邻帧之间的帧间光流；

通过光流转换建立所述帧间光流与待处理帧及其相邻帧之间的关系，基于所述关系生成光流集；

利用所述光流集对相邻帧做运动补偿，将运动补偿后的相邻帧与待处理帧组合，得到待处理帧集；

将所述待处理帧集输入到预训练的超分重建模型，得到待处理帧对应的超分帧。

可选的，所述光流估计网络模型包括至少两个金字塔层，各金字塔层输出不同分辨率的光流，且输出端的金字塔层估计的光流分辨率高于输入端的金字塔层。

可选的，将待处理帧和相邻帧输入预设的光流估计网络模型中，得到待处理帧与相邻帧之间的帧间光流包括：

以待处理帧与相邻帧的图像向量和初始化光流为输入，经所述光流估计网络模型中第一金字塔层处理后得到第一残差光流，所述第一残差光流与所述初始化光流融合，得到第一光流；

以待处理帧与相邻帧的图像向量和第一光流为输入，经所述光流估计网络模型中第二金字塔层处理后得到第二残差光流，所述第二残差光流与所述第一光流融合，得到第二光流；

以待处理帧与相邻帧的图像向量和第二光流为输入，经所述光流估计网络模型中第三金字塔层处理后得到第三残差光流，所述第三残差光流与所述第二光流融合，得到所述帧间光流。

可选的，通过光流转换建立所述帧间光流与待处理帧及其相邻帧之间的关系，基于所述关系生成光流集包括：