[发明专利]视频超分辨模型的训练方法、视频超分辨方法及装置

权利要求书

1.一种视频超分辨模型的训练方法，其特征在于，所述视频超分辨模型包括特征提取网络、时序变换网络、超分辨网络和显示网络，所述训练方法包括：

获取训练样本集，其中，所述训练样本集包括多个训练视频和所述多个训练视频中每个训练视频的预定区域对应的清晰图像，其中，所述预定区域是训练视频中清晰度低于第一预设阈值的区域，所述清晰图像是与所述预定区域的显示内容相同且清晰度高于第二预设阈值的图像；

将训练视频中所有图像帧输入到特征提取网络，得到所述所有图像帧中每个图像帧的状态信息；

针对所述所有图像帧中任一图像帧，做如下预定处理：将当前图像帧在所述训练视频中前预定个数的图像帧和在所述训练视频中后预定个数的图像帧中每个图像帧的状态信息输入到时序变换网络，得到所述前预定个数的图像帧和所述后预定个数的图像帧中每个图像帧变换到所述当前图像帧所处时刻的变换信息；将所述每个图像帧的变换信息和所述当前图像帧的状态信息输入到超分辨网络，得到所述当前图像帧的第一超分辨信息和所述每个图像帧的第一超分辨信息；将所述当前图像帧的第一超分辨信息、所述每个图像帧的第一超分辨信息进行拼接，得到所述当前图像帧的增强超分辨信息；将所述增强超分辨信息输入到显示网络，得到所述当前图像帧的预定区域的预估图像；

基于所述所有图像帧中每个图像帧对应的预估图像和对应的清晰图像，确定目标损失函数；

通过所述目标损失函数调整所述特征提取网络、所述时序变换网络、所述超分辨网络和所述显示网络的参数，对所述视频超分辨模型进行训练。

2.如权利要求1所述的训练方法，其特征在于，在将训练视频中所有图像帧输入到特征提取网络，得到所述所有图像帧中每个图像帧的状态信息之后，还包括：

存储所述所有图像帧的状态信息。

3.如权利要求1所述的训练方法，其特征在于，所有图像帧中第一个进行所述预定处理的图像帧作为当前图像帧，得到所述每个图像帧的第一超分辨信息后，所述当前图像帧的下一个图像帧的前预定个数的图像帧的超分辨信息通过如下方式获得：

获取所述当前图像帧的状态信息和所述下一个图像帧的状态信息的差异信息，并将所述差异信息输入到所述超分辨网络，得到所述差异信息的超分辨信息；

基于所述前预定个数的图像帧的第一超分辨信息和所述差异信息的超分辨信息，得到所述前预定个数的图像帧变换到所述下一个图像帧所处时刻的第二超分辨信息；

基于所述差异信息的超分辨信息与中间超分辨信息，得到所述当前图像帧变换到所述下一个图像帧所处时刻的第二超分辨信息，其中，所述中间超分辨信息是所述当前图像帧的第一超分辨信息和所述前预定个数的图像帧的第一超分辨信息拼接得到的；

基于所述前预定个数的图像帧的第二超分辨信息和所述当前图像帧的第二超分辨信息，得到所述下一个图像帧的前预定个数的图像帧的超分辨信息。

4.如权利要求1所述的训练方法，其特征在于，所有图像帧中第一个进行所述预定处理的图像帧作为当前图像帧，得到所述每个图像帧的第一超分辨信息后，所述当前图像帧的上一个图像帧的后预定个数的图像帧的超分辨信息通过如下方式获得：

获取所述当前图像帧的状态信息和所述上一个图像帧的状态信息的差异信息，并将所述差异信息输入到所述超分辨网络，得到所述差异信息的超分辨信息；

基于所述后预定个数的图像帧的第一超分辨信息和所述差异信息的超分辨信息，得到所述后预定个数的图像帧变换到所述上一个图像帧所处时刻的第三超分辨信息；

基于所述差异信息的超分辨信息与中间超分辨信息，得到所述当前图像帧变换到所述上一个图像帧所处时刻的第三超分辨信息，其中，所述中间超分辨信息是所述当前图像帧的第一超分辨信息和所述前预定个数的图像帧的第一超分辨信息拼接得到的；

基于所述后预定个数的图像帧的第三超分辨信息和所述当前图像帧的第三超分辨信息，得到所述上一个图像帧的后预定个数的图像帧的超分辨信息。