[发明专利]一种基于自监督学习的视频超分辨方法及系统

权利要求书

1.一种基于自监督学习的视频超分辨方法，其特征在于，包括以下步骤：

S1：建立自监督超分辨率训练框架，具体包括：

S11：预先下载若干超高清电影，并按照预设定长分割成高分辨率视频片段HR，作为所述超分辨率训练框架的训练数据输入；

S12：建立视频退化网络，将所述高分辨率视频片段HR输入所述视频退化网络进行下采样，输出低分辨率视频片段LR；

S13：建立超分辨率网络，将所述低分辨率视频片段LR输入所述超分辨率网络进行预测，输出预测后的高分辨率视频片段HR_pred；

S14：建立训练损失函数，通过所述训练损失函数更新所述超分辨率网络的网络权重；

S2：当需要对视频文件进行超分辨率处理时，将所述视频文件进行解码分解成视频帧，将所述视频帧输入所述超分辨率网络后，输出超分辨率的所述视频帧，再进行编码得到超分辨率处理后的所述视频文件。

2.根据权利要求1所述的自监督学习的视频超分辨方法，其特征在于，所述视频退化网络，具体为：

将所述高分辨率视频片段HR，进行组成成分的拆分，分为亮度成分Y和色彩成分CbCr，对所述亮度成分Y和所述色彩成分CbCr分布进行处理；

对所述亮度成分Y，通过神经网络进行图像特征的提取，得到特征提取后的所述亮度成分Y；

对所述色彩成分CbCr，进行下采样，得到下采样后的所述色彩成分CbCr；

将特征提取后的所述亮度成分Y与下采样后的所述色彩成分CbCr，进行组合，得到所述低分辨率视频片段LR。

3.根据权利要求2所述的自监督学习的视频超分辨方法，其特征在于，还包括：在对所述亮度成分Y进行图像特征的提取的同时，对所述亮度成分Y进行卷积参数回归。

4.根据权利要求1所述的自监督学习的视频超分辨方法，其特征在于，所述训练损失函数，具体包括：L1_loss,content_loss和sobel_loss三个损失函数；

RGB色彩空间的L1_loss；

L1_loss＝∑|HR_pred-HR|

RGB色彩空间的content_loss；

content_loss＝∑|vgg19(HR_pred)-vgg19(HR)|

其中，vgg19是有预训练参数的模型；

RGB色彩空间的sobel_loss；

sobel_loss＝∑|get_sobel(HR_pred)-get_sobel(HR)|

其中，get_sobel是图像处理种的sobel梯度算子。

5.根据权利要求1所述的自监督学习的视频超分辨方法，其特征在于，在步骤S2中，还包括：采用ffmpeg对所述视频文件进行解码和编码。

6.一种执行如权利要求1-5中任意一项所述的基于自监督学习的视频超分辨方法的基于自监督学习的视频超分辨系统，其特征在于，包括：

超分辨率训练框架建立模块，用于建立自监督超分辨率训练框架，并进一步包括：

数据准备单元，用于预先下载若干超高清电影，并按照预设定长分割成高分辨率视频片段HR，作为所述超分辨率训练框架的训练数据输入；

视频退化网络建立单元，用于建立视频退化网络，将所述高分辨率视频片段HR输入所述视频退化网络进行下采样，输出低分辨率视频片段LR；

超分辨率网络建立单元，用于建立超分辨率网络，将所述低分辨率视频片段LR输入所述超分辨率网络进行预测，输出预测后的高分辨率视频片段HR_pred；

训练损失函数建立单元，用于建立训练损失函数，通过所述训练损失函数更新所述超分辨率网络的网络权重；

视频文件超分辨率处理模块，用于当需要对视频文件进行超分辨率处理时，将所述视频文件进行解码分解成视频帧，将所述视频帧输入所述超分辨率网络后，输出超分辨率的所述视频帧，再进行编码得到超分辨率处理后的所述视频文件。