[发明专利]视觉质量优化的视频压缩

说明书

本公开涉及视觉质量优化的视频压缩。讨论了与从高度压缩和解压缩的重建视频提供高感知质量视频有关的技术。这样的技术包括：将生成对抗网络的经预训练解压缩上采样部分应用于经解压缩的重建视频以进行上采样并提高该经解压缩的重建视频的感知质量，来生成输出视频。

技术领域

本公开总体涉及图像处理领域，更具体地，涉及视觉质量优化的视频压缩。

背景技术

在各种情境中，例如对于体育赛事或其他引人注目的赛事，鉴于场景(例如在体育场周围)而安装多个(例如38个)相机。场景的同时或同步视频被捕获，并且点云被构建以创建场景的体积模型(volumetric model)。然后，每时每刻都用来自场景的多个捕获图片的捕获纹理来绘制点云，从而生成场景的照片般逼真的3D模型。此外，3D模型内的虚拟相机或视图随后可用于在此3D空间中导航并呈现所观察到的视图，来为高度沉浸式用户体验提供多个自由度。

在这样的情境中创建事件的实时体积视频需要非常强的计算能力，并且如以上讨论的，几乎整个过程都需要在云计算环境或类似环境中执行。例如，就将数据传输到云以进行处理而言，当前的吞吐量可能约为440Gb/s，而未来系统的所需吞吐量预计会达到15Tb/s。通常，这样的数据需要在最大带宽约为10Gb/s的管道中传输到云或其他计算环境，因此对于将来系统，可能需要约1/3000的压缩率。此外，最终系统输出(例如3D模型)需要具有很高的质量才能维持沉浸式用户体验。

鉴于这些及其他考虑事项，需要进行本改进。随着在由多个相机获取的场景中提供沉浸式用户体验的需求变得更普遍，这种改进可能变得至关重要。

发明内容

本公开的实施例提供了一种方法，包括：对接收到的比特流进行解码，以生成经解码视频流的第一视频图片，其中，第一视频图片包括第一分辨率；将生成对抗网络的经预训练解压缩上采样部分应用于第一视频图片以进行上采样并提高第一视频图片的感知质量，来生成第二视频图片，其中，第二视频图片包括大于第一分辨率的第二分辨率；并且输出第二视频图片。

本公开的实施例还提供了一种设备，包括：存储器，用于存储接收到的比特流；以及耦合到存储器的一个或多个处理器，一个或多个处理器用于：对接收到的比特流进行解码，以生成经解码视频流的第一视频图片，其中，第一视频图片包括第一分辨率；将生成对抗网络的经预训练解压缩上采样部分应用于第一视频图片以进行上采样并提高第一视频图片的感知质量，来生成第二视频图片，其中，第二视频图片包括大于第一分辨率的第二分辨率；并且输出第二视频图片。

附图说明

在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：

图1图示出通过通信接口耦合的、用于提供视频压缩和解压缩的示例性系统；

图2图示出在示例场景上训练的示例相机阵列；

图3图示出包括伪像区域的示例经解码视频图片的一部分；

图4图示出包括伪像区域的示例经解码视频图片的一部分；

图5图示出基于将解压缩GAN应用于经解码视频图片的经上采样且感知质量改进的示例视频图片；

图6图示出基于将解压缩GAN应用于经解码视频图片的经上采样且感知质量改进的示例视频图片；

图7图示出用于训练解压缩GAN的示例性系统；

图8图示出示例性解压缩GAN；

图9图示出示例性判别网络；

图10图示出用于提供区域有关的下采样、编码、和/或解压缩GAN处理的示例性过程；