[发明专利]基于GAN的还原有损压缩视频文件的系统和方法

说明书

本发明提供了一种基于GAN的还原有损压缩视频文件的系统和方法。方法包括构建高清参照图片库，使用高清参照图片和根据高清参照图片生成的低清图片作为训练数据训练生成对抗网络，训练出的生成器可作为高清图片生成模型。将经压损的视频文件逐帧输入高清图片生成模型，模型输出对应的高清图片，从而得到经还原的高清视频文件。

技术领域

本发明涉及计算机视觉领域，更具体地，涉及一种基于生成对抗网络GAN的还原有损压缩视频文件的系统和方法。

背景技术

随着5G和视频技术的发展，基于摄像头的看家类产品发展迅速，而视频文件的存储规模也越来越大。以中国电信天翼看家产品为例，每日新增的视频文件就需要约25PB的存储空间，海量的存储最直接的是带来很大的硬件采购成本。另外，海量的存储对于扩容、运维、容灾等都带来很大的管理成本。所以，对视频文件尽可能大的压缩是一个迫在眉睫的长期的技术难题。

视频压缩有两种方法，一种是基于最新的H265编码进行压缩，另外一种是基于深度学习算法对视频进行编码。天翼看家产品目前大部分基于H265的编码方案，只有少部分老的摄像头还是H264的方案。如果想继续压缩，就需要对H265进行调参，比如增加GOP的长度、对I帧继续压缩等。这种有损压缩带来的问题就是视频的清晰度、流畅度会受到影响。基于深度学习的算法压缩比例更高，但也是基于有损压缩技术，同样会带来用户体验的下降。在视频解码后如何通过技术手段提高视频的清晰度和纹理的细致度，是行业内的难题。

题为“一种图像超分辨率方法及设备”的中国专利申请(CN201611086392.3)公开了一种超分辨图像生成方法，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当调整完成后接收到处理低分辨率图像，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理，从而显著提高了图像超分辨率效果以及超分辨图像的真实性。然而，该方法在分辨率放大倍数较大的情况下，比如4倍以上，纹理的流畅度会很差。

题为“一种基于密集连接网络的图像超分辨率方法”的中国专利申请(CN201710193665.2)公开了一种基于密集连接网络的图像超分辨率方法，通过加大卷积神经网络的深度，在深度网络中引入大量的跳跃式连接，有效解决深度网络反向传播时的梯度消失问题，优化了信息在网络上的流动，提升了卷积神经网络的超分辨率重建能力。同时，本发明也有效结合了底层特征和高层抽象特征，减少模型参数，压缩了深度网络模型，从而提高了图像超分辨率的重建效率。此外，通过引入深度监督技术，在网络的不同深度都能重建超分辨率图像，不仅优化了深度网络的训练，并且在测试时可以根据测试端的计算能力选择适当的网络深度重建高清图像。最后，该发明利用了多个放大倍数的图像集进行训练，获得的模型可以在多个尺度上进行图像超分辨率，而不用针对每一个放大倍数训练不同的模型。

论文“Image Super-Resolution by Neural Texture Transfer”(https://arxiv.org/abs/1903.00834)提出了一种端到端的深度模型，能够根据与参照(Ref)图像的纹理相似性自适应地迁移Ref图像的纹理，从而丰富图像的细节。除了像之前的工作那样在原始像素空间中匹配内容，本论文的关键贡献是在神经空间中执行的多层面匹配。这种匹配方案有助于多尺度神经迁移，能让模型从那些形义相关的Ref图块中获得更多好处，并在最不相关的Ref输入上优雅地降级到单图像超分辨率(SISR)性能。该论文成果已被证明在给了与低分辨率(LR)输入有相似内容的Ref图像时有很好的恢复高分辨率(HR)细节的潜力。但是，当Ref的相似程度较低时，基于Ref的超分辨率(RefSR)的性能会严重下降。

发明内容