[发明专利]视频超分辨模型的训练方法、视频超分辨方法及装置

说明书

本公开关于视频超分辨模型的训练方法、视频超分辨方法及装置。训练方法包括：将视频中所有图像帧输入特征提取网络得到每个图像帧的状态信息；针对所有图像帧中任一图像帧：将当前图像帧前预定个数和后预定个数的图像帧的状态信息输入到时序变换网络得到对应图像帧变换到当前图像帧所处时刻的变换信息；将变换信息和当前图像帧的状态信息输入到超分辨网络得到当前图像帧和前后预定个数的图像帧的第一超分辨信息；将当前图像帧和前后预定个数的图像帧的第一超分辨信息拼接得到当前图像帧的增强超分辨信息；将增强超分辨信息输入到显示网络得到预估图像；基于预估图像和清晰图像调整各网络的参数，训练视频超分辨模型。

技术领域

本公开涉及视频处理领域，尤其涉及一种视频超分辨模型的训练方法、视频超分辨方法及装置。

背景技术

目前，基于循环卷积网络的视频超分辨算法是一维马尔可夫的状态转移过程，即仅将上一个时刻的结果作为下一个时刻的输入，也就是当前图像帧只能从上一个时刻的图像帧获取信息，来得到当前图像帧的超分辨信息。可见，目前的基于循环卷积网络的视频超分辨算法仍然存在信息利用不充分的问题，很难得到准确的超分辨信息，因此，在真实场景下的表现依然受限。

发明内容

本公开提供一种视频超分辨模型的训练方法、视频超分辨方法及装置，以至少解决相关技术中无法得到准确的超分辨信息的问题。

根据本公开实施例的第一方面，提供一种视频超分辨模型的训练方法，视频超分辨模型包括特征提取网络、时序变换网络、超分辨网络和显示网络，训练方法包括：获取训练样本集，其中，训练样本集包括多个训练视频和多个训练视频中每个训练视频的预定区域对应的清晰图像，其中，预定区域是训练视频中清晰度低于第一预设阈值的区域，清晰图像是与预定区域的显示内容相同且清晰度高于第二预设阈值的图像；将训练视频中所有图像帧输入到特征提取网络，得到所有图像帧中每个图像帧的状态信息；针对所有图像帧中任一图像帧，做如下预定处理：将当前图像帧在训练视频中前预定个数的图像帧和在训练视频中后预定个数的图像帧中每个图像帧的状态信息输入到时序变换网络，得到前预定个数的图像帧和后预定个数的图像帧中每个图像帧变换到当前图像帧所处时刻的变换信息；将每个图像帧的变换信息和当前图像帧的状态信息输入到超分辨网络，得到当前图像帧的第一超分辨信息和每个图像帧的第一超分辨信息；将当前图像帧的第一超分辨信息、每个图像帧的第一超分辨信息进行拼接，得到当前图像帧的增强超分辨信息；将增强超分辨信息输入到显示网络，得到当前图像帧的预定区域的预估图像；基于所有图像帧中每个图像帧对应的预估图像和对应的清晰图像，确定目标损失函数；通过目标损失函数调整特征提取网络、时序变换网络、超分辨网络和显示网络的参数，对视频超分辨模型进行训练。

可选地，在将训练视频中所有图像帧输入到特征提取网络，得到所有图像帧中每个图像帧的状态信息之后，还包括：存储所有图像帧的状态信息。

可选地，所有图像帧中第一个进行预定处理的图像帧作为当前图像帧，得到每个图像帧的第一超分辨信息后，当前图像帧的下一个图像帧的前预定个数的图像帧的超分辨信息通过如下方式获得：获取当前图像帧的状态信息和下一个图像帧的状态信息的差异信息，并将差异信息输入到超分辨网络，得到差异信息的超分辨信息；基于前预定个数的图像帧的第一超分辨信息和差异信息的超分辨信息，得到前预定个数的图像帧变换到下一个图像帧所处时刻的第二超分辨信息；基于差异信息的超分辨信息与中间超分辨信息，得到当前图像帧变换到下一个图像帧所处时刻的第二超分辨信息，其中，中间超分辨信息是当前图像帧的第一超分辨信息和前预定个数的图像帧的第一超分辨信息拼接得到的；基于前预定个数的图像帧的第二超分辨信息和当前图像帧的第二超分辨信息，得到下一个图像帧的前预定个数的图像帧的超分辨信息。