[发明专利]视频处理机制

说明书

本申请公开了视频处理机制。公开了一种用于促进对视频比特流数据进行处理的装置。所述装置包括：一个或多个处理器，所述一个或多个处理器用于对占用图数据和辅助补片信息进行解码，并基于从所述占用图数据和辅助补片信息中解码出的补片数据生成多个补片视频帧；以及存储器，所述存储器通信地耦合到所述一个或多个处理器。

相关申请

本申请涉及由Jill Boyce于2018年7月31日提交的名称为“REDUCED RENDERINGOF SIX-DEGREE OF FREEDOM VIDEO(减少六自由度视频的渲染)”的共同转让的美国专利申请序列号16/050,153，所述美国专利申请的全部内容通过引用结合于此。

技术领域

本发明总体上涉及视频处理，并且更具体地涉及经由图形处理单元进行的视频处理。

背景技术

六自由度(6DoF)视频是新兴的沉浸式视频用例，其为观看者提供沉浸式媒体体验，在其中，所述观看者控制场景的视点。更简单的三自由度(3DoF)视频(例如360度或全景视频)允许观看者从固定位置改变围绕X、Y和Z轴的取向(描述为偏航、俯仰和滚动)。6DoF视频使得观看者能够通过沿X、Y和Z轴的平移移动来改变位置。

可以使用点云来表示6DoF视频。然而，点云数据的渲染在计算上是昂贵的，使得以高帧速率渲染包含大量点的点云视频变得困难。此外，点云数据速率很大，需要较大的容量用于存储或传输。

附图说明

为了能够详细理解本发明的上述特征，通过参考实施例可以对上文简述的本发明有更具体的说明，附图中展示了这些实施例中的一些。然而应当指出的是，附图仅仅展示了本发明的典型实施例，并且因此不应被认为是对本发明的范围的限制，因为本发明可以允许其他等效的实施例。

图1是根据实施例的处理系统的框图；

图2是根据实施例的处理器的框图；

图3是根据实施例的图形处理器的框图；

图4是根据一些实施例的图形处理器的图形处理引擎的框图；

图5是由附加实施例提供的图形处理器的框图；

图6A和6B展示了线程执行逻辑，所述线程执行逻辑包括在一些实施例中采用的处理元件阵列；

图7是展示了根据一些实施例的图形处理器指令格式的框图；

图8是根据另一个实施例的图形处理器的框图；

图9A和图9B展示了根据一些实施例的图形处理器命令格式和命令序列；

图10展示了根据一些实施例的数据处理系统的示例性图形软件架构；

图11A和图11B是框图，展示了根据实施例的IP核开发系统；

图12是框图，展示了根据实施例的示例性芯片上系统集成电路；

图13A和图13B是框图，展示了附加示例性图形处理器；

图14A和图14B是框图，展示了根据实施例的芯片上系统集成电路的附加示例性图形处理器；

图15A展示了多种形式的沉浸式视频；

图15B展示了用于沉浸式视频的图像投影和纹理平面。

图16展示了客户端-服务器系统，通过所述系统，可以由服务器基础设施生成沉浸式视频内容并对其进行编码，以便传输到一个或多个客户端设备；

图17A至图17B展示了用于对3DoF+(3DoF Plus)内容进行编码和解码的系统；