[发明专利]用于高效2D-3D呈现的视频解码器中的纹理压缩

说明书

发明领域

本发明涉及配置成输出压缩和非压缩格式的视频数据的视频解码器。

背景

许多当今的图形用户界面(GUI)涉及呈现视频作为3D图形场景的一部分。例如，视频回放设备可包含利用3D呈现图形来创建3D图形场景的GUI。用户可在该GUI中导航以寻找存储在该视频回放设备上的视频。当用户在该GUI中导航时，这些视频可作为该3D图形场景内的预览剪辑来回放。

为了在3D GUI内显示视频，首先解码视频帧，随后视频处理器使用已解码视频帧来呈现3D场景。视频处理器随后将该场景输出到显示器。

目前，视频解码器以单种非压缩格式(诸如YUV 4:2:0格式)来解码视频。已解码视频从视频解码器输出到显示处理器中。显示处理器可覆盖2D图像(即，3D环境中的纹理)并随后向显示器输出信号，这些图像在显示器中显示。在某些情形中，显示处理器先将视频从YUV 4:2:0格式转换成RGB 8:8:8格式，然后覆盖纹理并呈现该视频以在显示设备上显示。

然而，为了在3D图形场景中呈现视频，以上模型是低效的。如上所述，视频在传统上以非压缩的YUV 4:2:0格式从视频解码器输入到显示处理器的图形流水线中。显示处理器随后必须将视频帧转换成压缩格式，然后使用该压缩格式通过覆盖纹理来呈现3D GUI。这导致用于将非压缩视频纹理加载到图形流水线中所需的额外带宽以及图形流水线中用于将非压缩纹理转换成压缩纹理的额外指令。

用于减少图形流水线中所需的带宽和指令的先前解决方案已包括以将无需由显示处理器进行转换的压缩格式离线地生成视频的第二副本。然而，此类解决方案并没有考虑在视频显示设备中对诸如来自以非压缩格式向视频显示设备发送实况内容的源的视频的运行中显示。此外，需要额外的外部处理和存储器来存储该视频的附加格式。

附图简述

图1是解说用于编码和解码视频信号的源设备和目的设备的框图。

图2是其中合并了已解码视频的所呈现3D场景的实施例。

图3是用于压缩视频帧的过程的实施例的流程图。

图4是使用通过图3的过程解码的视频来呈现场景的过程的流程图。

图5是图1的视频解码器的实施例的框图。

详细描述

以下详细描述针对某些具体实施例。然而，本文的教示可以众多不同方式来应用。在本说明书中，参考了附图，其中相同的部件贯穿始终被指定相同的标号。

一个实施例针对视频解码器，其被设计成以适合用于2D和3D图形呈现两者的格式输出已解码视频。通过将视频解码成非压缩和压缩格式两者，就能够以正确格式将视频帧发送给显示处理器(其在一个实施例中可包括2D和3D图形处理器)以减少显示处理器在所呈现3D图形用户界面(GUI)中合并视频所需的处理。

图1是解说执行本公开所描述的编码技术的视频编码和解码系统10的实施例的框图。如图1中所示，系统10包括源设备12，该源设备12经由通信信道16向目的设备14传送经编码视频数据。源设备12可包括视频源18、视频编码器20和发射机22。源设备12的视频源18可包括视频捕捉设备(诸如摄像机)、包含先前捕捉到的视频的视频存档、或者来自视频内容供应商的视频馈送。作为另一替换方案，视频源18可以生成基于计算机图形的数据作为源视频，或者实况视频与计算机生成的视频的组合。在某些情形中，源设备12可以是无线电话或视频电话，在这种情形中，视频源18可以是该电话上的摄像机。在每种情形中，捕捉到的、预先捕捉到的或者计算机生成的视频可以由视频编码器20编码以经由发射机22和通信信道16从源设备12传送给目的设备14。

视频编码器20从视频源18接收视频数据。从视频源18接收到的视频数据可以是一系列视频帧。视频编码器20将这一系列帧划分成编码单元并处理这些编码单元以编码这一系列视频帧。编码单元可以是例如整个帧或帧的部分(即，片断)。因此，在某些实例中，帧可被划分成片断。视频编码器20将每个编码单元划分成像素块(在本文中被称为视频块或块)并对个体编码单元内的视频块进行操作以编码视频数据。因此，编码单元(例如，帧或片断)可包含多个视频块。换言之，视频序列可包括多个帧，帧可包括多个片断，而片断可包括多个视频块。