[发明专利]用于沉浸式视频的选择性补片打包

说明书

实施例总体上涉及用于沉浸式视频的选择性补片打包。处理系统的实施例包括：一个或多个处理器核；以及存储器，用于存储沉浸式视频的数据，该数据包括针对多个投影方向的多个补片。系统用于选择用于打包的补片，对补片的选择至少部分地基于多个投影方向中的哪一个与补片中的每一个补片相关联。系统用于根据对补片的选择将补片编码到一个或多个经编码图片中。

相关申请

本申请涉及由Jill Boyce于2018年7月31日提交的名称为“REDUCED RENDERINGOF SIX-DEGREE OF FREEDOM VIDEO(减少六自由度视频的渲染)”的共同转让的美国专利申请序列号16/050,153，所述美国专利申请的全部内容通过引用结合于此。

技术领域

本文所描述的实施例总体上涉及电子装置领域，并且更具体地涉及用于沉浸式视频的选择性补片打包。

背景技术

六自由度(6DoF)视频是新兴的沉浸式视频用例，其为观看者提供沉浸式媒体体验，在其中，所述观看者控制场景的视点。更简单的三自由度(3DoF)视频(例如360度或全景视频)允许观看者从固定位置改变围绕X、Y和Z轴的取向(描述为偏航、俯仰和滚动)。6DoF视频使得观看者能够通过沿X、Y和Z轴的平移移动来改变位置。

可以使用点云来表示6DoF视频。然而，点云数据的渲染在计算上是昂贵的，使得以高帧速率渲染包含大量点的点云视频变得困难。此外，点云数据速率很大，需要较大的容量用于存储或传输。

当对从多个相机捕获的6DoF视频进行编码时，补片是由单个相机或在特定相机/虚拟相机最可见的内容的虚拟相机位置处的投影形成的。来自给定相机或虚拟相机的内容可以被称为投影方向。

来自多个投影方向的纹理和深度补片被打包到单一图片中并且用如HEVC(高效视频编码)或AVC(高级视频编码)等正常视频编解码器进行编码。MPEG点云编码(PCC)使用来自与长方体的面相对应的六个投影方向的投影。然而，客户端然后需要解码整个经编码图片，所述经编码图片是高分辨率图像，因为它包含来自多个投影方向的补片。解码整个经编码图片将给解码器带来很大的负担，并且将需要高网络带宽以供传输。

附图说明

以示例而非限制性方式在附图中展示本文所描述的实施例，在附图中，相同的参考号指代类似元件。

图1是根据一些实施例的处理系统的框图；

图2是处理器的实施例的框图，所述处理器具有一个或多个处理器核、集成存储器控制器以及集成图形处理器；

图3是根据一些实施例的图形处理器的框图；

图4是根据一些实施例的图形处理器的图形处理引擎的框图；

图5是根据一些实施例的图形处理器核的硬件逻辑的框图；

图6A至图6B展示了根据一些实施例的线程执行逻辑，所述线程执行逻辑包括在图形处理器核中采用的处理元件阵列；

图7展示了根据一些实施例的图形处理器指令格式的框图；

图8是图形处理器的另一个实施例的框图；

图9A是框图，展示了根据一些实施例的图形处理器命令格式；

图9B是框图，展示了根据实施例的图形处理器命令序列；

图10展示了根据一些实施例的数据处理系统的示例性图形软件架构；

图11A是框图，展示了根据实施例的可以用于制造用于执行操作的集成电路的IP核开发系统；

图11B展示了根据一些实施例的集成电路封装体组件的截面侧视图；