[发明专利]针对视频编码器渲染的游戏引擎应用程序

说明书

公开了将图像直接渲染到视频编码器的系统、设备和方法。游戏引擎包括被配置为根据模式在不同的颜色空间中渲染图像的嵌入式渲染单元。所述渲染单元在以第一模式操作时仅针对第一颜色空间渲染图像以使图像被直接驱动到显示器。所述渲染单元在以第二模式操作时仅针对第二颜色空间渲染图像，所述图像被直接提供到视频编码器。在第三模式中，所述渲染单元针对两个颜色空间渲染图像。在一个实施方案中，所述第一颜色空间是RGB并且所述第二颜色空间是YUV。所述游戏引擎还生成与每个已渲染的图像相关联的多个属性并且所述视频编码器基于与所述已渲染的图像相关联的所述属性来将每个已渲染的图像编码成编码的位流。

背景技术

相关技术的描述

各种应用程序执行图像或视频内容的实时编码和解码。例如，云游戏和游戏观看行为是包括对内容的实时编码和解码的支持的应用程序的示例。在实时地供给这种工作量时通常会出现延迟、质量、位速率率、功率和性能挑战。在许多情形中，在图形处理单元(GPU)上运行的基于游戏引擎的应用程序在RGB颜色空间中进行渲染以经由系统附接的显示器呈现图像。另外，当打算经由网络将已渲染的图像发送到远程系统时，已渲染的图像被转变到由编解码器使用的颜色空间(通常是YUV)中，并且被视频编码器编码成视频位流。使视频编码器在维持低编码延迟并减少编码的视频位流中的伪影的同时优化视频的质量可为具有挑战性的。鉴于以上内容，期望用于渲染图像和将已渲染的图像编码成编码的位流的新的和改进的方法。

附图说明

通过结合附图参考以下描述，可更好地理解本文中描述的方法和机制的优点，附图中：

图1是用于将已渲染的图像编码成经由网络发送的视频位流的系统的一个实施方案的框图。

图2是服务器的软件部件的一个实施方案的框图。

图3是计算系统的一个实施方案的框图。

图4是计算系统的另一实施方案的框图。

图5是示出游戏引擎直接渲染到视频编码器的方法的一个实施方案的一般化流程图。

图6是示出用于操作多模式游戏引擎的方法的一个实施方案的一般化流程图。

具体实施方式

在以下描述中，阐述了众多具体细节以提供对本文中呈现的方法和机制的透彻理解。然而，本领域技术人员应认识到，可在没有这些具体细节的情况下实践各种实施方案。在一些情况下，未详细示出众所周知的结构、部件、信号、计算机程序指令和技术以避免使本文中描述的方法模糊不清。应了解，为了简单和清楚地进行说明，图中所示的元件不一定按比例绘制。例如，元件中的一些的尺寸相对于其他元件可能被夸大。

本文中公开了游戏引擎直接渲染到视频编码器的系统、设备和方法。在一个实施方案中，一种系统包括游戏引擎和服务器中的视频编码器，所述服务器经由网络联接到具有解码器的客户端。游戏引擎包括被配置为在第一颜色空间中渲染图像以用于显示的嵌入式渲染单元。渲染单元还被配置为在第二颜色空间中将图像直接渲染到视频编码器。在一个实施方案中，第一颜色空间是RGB并且第二颜色空间是YUV。游戏引擎还生成与每个已渲染的图像相关联的多个属性并且向视频编码器传送多个属性。所述多个属性包括由渲染单元用来渲染图像的各种类型的数据。视频编码器基于与已渲染的图像相关联的多个属性来将每个已渲染的图像编码成编码的位流。

在一个实施方案中，渲染单元位于云中的服务器上，并且已渲染的内容经由网络被传送到客户端。例如，可执行云游戏应用程序，其中游戏应用程序帧在云中被渲染。在这种情形中，渲染单元将向编码器传送已渲染的帧。渲染单元可使用各种类型的处理单元中的任一个来实施。在一个实施方案中，渲染单元在图形处理器或图形子系统上实施。在另一实施方案中，渲染单元在通用中央处理单元(CPU)上实施。在其他实施方案中，渲染单元能够在其他类型的处理单元(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP))上实施。