[发明专利]视觉质量优化的视频压缩

权利要求书

1.一种方法，包括：

对接收到的比特流进行解码，以生成经解码视频流的第一视频图片，其中，所述第一视频图片包括第一分辨率；

将生成对抗网络的经预训练解压缩上采样部分应用于所述第一视频图片以进行上采样并提高所述第一视频图片的感知质量，来生成第二视频图片，其中，所述第二视频图片包括大于所述第一分辨率的第二分辨率；并且

输出所述第二视频图片。

2.根据权利要求1所述的方法，其中，所述经解码视频流包括多个同时期视频流中的第一视频流，所述多个同时期视频流是从在场景上训练的相应的多个相机获取的。

3.根据权利要求2所述的方法，还包括：

对所述同时期视频流中的每一者进行下采样；

对经下采样的同时期视频流中的每一者进行编码，以生成相应的多个比特流，所述多个比特流包括所述接收到的比特流；并且

发送所述多个比特流中的每一者。

4.根据权利要求1到3中任一项所述的方法，其中，所述第二分辨率在垂直方向和水平方向上均不小于所述第一分辨率的八倍。

5.根据权利要求1到3中任一项所述的方法，其中，所述经预训练解压缩上采样部分依次包括以下各项：多个第一残差块、多个上采样块、至少一个第二残差块。

6.根据权利要求5所述的方法，其中，所述第一残差块和所述第二残差块中的每一者包括卷积层、线性整流单元层、以及求和层，并且每个上采样块包括转置卷积层和线性整流单元层，并且其中，所述至少一个第二残差块后面是卷积层。

7.根据权利要求1所述的方法，还包括：

将以第二分辨率接收到的训练图片下采样到第一分辨率；

对经下采样的训练图片进行编码，以生成第二比特流；

对所述第二比特流进行解码，以生成经解码训练图片；

将所述生成对抗网络的解压缩上采样部分应用于所述经解码训练图片，以生成具有第二分辨率的结果图片；

使用所述训练图片和所述结果图片来确定内容损失；

将判别网络应用于所述结果图片，以生成关于所述结果图片是真还是假的评估；

基于所述评估来确定判别器损失；并且

使用基于所述内容损失和所述判别器损失二者的最终损失，来训练所述生成对抗网络的所述解压缩上采样部分。

8.根据权利要求1到3中任一项所述的方法，还包括：

接收与所述第一视频图片的第一区域相对应的第一区域指示符和与所述第一视频图片的第二区域相对应的第二区域指示符，其中，响应于所述第一区域指示符，而将所述经预训练解压缩上采样部分仅应用于所述第一区域，并且响应于所述第二区域指示符，而不将所述经预训练解压缩上采样部分应用于所述第二区域。

9.根据权利要求1到3中任一项所述的方法，还包括：

接收与所述第一视频图片的第一区域相对应的第一区域指示符和与所述第一视频图片的第二区域相对应的第二区域指示符，其中，响应于所述第一区域指示符，而将所述经预训练解压缩上采样部分仅应用于所述第一区域；并且

响应于所述第二区域指示符，而将第二生成对抗网络的第二经预训练解压缩上采样部分应用于所述第二区域，以对所述第二区域进行上采样并用纹理。

10.根据权利要求9所述的方法，其中，响应于所述第一区域是感兴趣的区域，所述第一区域的第一比特率大于所述第二区域的第二比特率。

11.根据权利要求1到3中任一项所述的方法，其中，所述接收到的比特流的比特率对所述第一分辨率的比率不大于每像素每秒两比特。