[发明专利]一种基于自监督学习的视频超分辨方法及系统

说明书

本发明涉及视频处理技术领域，提供了一种基于自监督学习的视频超分辨方法及系统，包括建立自监督超分辨率训练框架，具体为：下载超高清电影，并分割成高分辨率视频片段HR，作为超分辨率训练框架的训练数据输入；将高分辨率视频片段HR输入视频退化网络进行下采样，输出低分辨率视频片段LR；将低分辨率视频片段LR输入超分辨率网络进行预测，输出预测后的高分辨率视频片段HR_pred；通过训练损失函数更新超分辨率网络的网络权重。更多的从图像退化的角度，使得超分辨网络的输入更好的符合现实情形，训练得到了耗时低、效果相对较好的超分辨率模型，有很高的实际应用价值。

技术领域

本发明涉及视频处理的技术领域，尤其涉及视频超分辨处理技术领域，具体涉及一种基于自监督学习的视频超分辨方法及系统。采用了深度学习、视频编解码和图像处理技术，在分辨率提升的同时，也能够很好的丰富视频细节，使视频更加清晰。

背景技术

对于视频超分辨率算法，目前主要有单帧视频超分辨率算法、多帧视频超分辨率算法。单帧视频超分辨率算法完全依靠当前帧的信息，通过深度学习模型，增强视频的细节特征，使视频更加清晰；多帧视频超分辨率依靠当前帧以及当前帧的前后N帧作为深度学习网络的输入，对当前帧的细节进行预测，加强视频细节特征，使视频更加清晰。

往往多帧视频超分辨算法比单帧视频超分辨率算法效果要好一些，因为有更多的输入信息去预测当前帧的细节特征。但是多帧超分辨率算法比单帧超分辨率算法更加耗时，处理一帧视频都是秒级的，在实际的应用中并不友好。

在训练视频超分辨率的过程中，一般都是将图像通过某种退化算法(如bicubic插值)得到细节较少、分辨率低的低质量图像，将该低质量图像作为深度学习网络的输入，通过深度学习网络，得到退化之前的图像，即高分辨率、高质量图像。一般地，图像退化算法和超分辨率算法过程是同等重要的，图像退化算法能够更好的模拟现实应用中的低质量图像，也将决定可以得到更好的超分辨率算法模型。

发明内容

针对上述问题，本发明的目的在于提供一种基于自监督学习的视频超分辨方法及系统，更多的从图像退化的角度，使得超分辨网络的输入更好的符合现实情形，训练得到了耗时低、效果相对较好的超分辨率模型，有很高的实际应用价值。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种基于自监督学习的视频超分辨方法，包括以下步骤：

S1：建立自监督超分辨率训练框架，具体包括：

S11：预先下载若干超高清电影，并按照预设定长分割成高分辨率视频片段HR，作为所述超分辨率训练框架的训练数据输入；

S12：建立视频退化网络，将所述高分辨率视频片段HR输入所述视频退化网络进行下采样，输出低分辨率视频片段LR；

S13：建立超分辨率网络，将所述低分辨率视频片段LR输入所述超分辨率网络进行预测，输出预测后的高分辨率视频片段HR_pred；

S14：建立训练损失函数，通过所述训练损失函数更新所述超分辨率网络的网络权重；

S2：当需要对视频文件进行超分辨率处理时，将所述视频文件进行解码分解成视频帧，将所述视频帧输入所述超分辨率网络后，输出超分辨率的所述视频帧，再进行编码得到超分辨率处理后的所述视频文件。

进一步地，所述视频退化网络，具体为：

将所述高分辨率视频片段HR，进行组成成分的拆分，分为亮度成分Y和色彩成分CbCr，对所述亮度成分Y和所述色彩成分CbCr分布进行处理；

对所述亮度成分Y，通过神经网络进行图像特征的提取，得到特征提取后的所述亮度成分Y；

对所述色彩成分CbCr，进行下采样，得到下采样后的所述色彩成分CbCr；