[发明专利]带有编码器反馈的图形渲染

说明书

反馈处理模块[200]包括被配置为存储从编码器[125]接收的反馈[205]的存储器[220]。该反馈包括与由图形引擎[105]生成的经编码的图形内容相关联的参数。反馈处理模块还包括处理器[215]，该处理器被配置为基于该反馈生成用于图形引擎的配置信息。所述图形引擎被配置为基于所述配置信息执行工作负荷。在一些情况下，所述反馈处理模块还被配置为接收来自用于对由所述编码器编码的所述图形内容进行解码的解码器的反馈，并且基于从所述解码器接收的所述反馈来生成所述配置信息。

背景技术

云服务(诸如云游戏和虚拟桌面应用程序)用于执行计算密集型任务，诸如执行游戏逻辑和渲染高分辨率三维(3D)图形。将计算密集型任务转移到云服务器可以使此类应用程序向缺乏执行完整应用程序所需的计算能力的智能手机、平板电脑和其他瘦装置提供服务。例如，在云服务器上实现的云游戏应用程序从客户端接收控制输入。云游戏应用程序使用控制输入来生成或修改表示游戏世界的3D场景。图形引擎渲染场景，并且对渲染的场景进行编码，以从云服务器传输到客户端装置，客户端装置接收并解码编码后的视频帧，以呈现在客户端装置的屏幕上。因此，客户端不使用直接从图形引擎接收的图形内容。相反，客户端使用已经在云服务器处被编码(例如，作为压缩的比特流)并且然后在客户端处被解码(例如，通过对压缩的比特流进行解压缩)的图形内容。因此，在云服务器处实现的编码器至少部分地确定在客户端装置的屏幕上显示的图像的质量。

附图说明

通过参考附图，本领域技术人员可更好地理解本公开并且明白其众多特征和优势。在不同附图中使用相同的附图标记表示类似或等同的项。

图1是根据一些实施方案的图形处理系统的框图。

图2是根据一些实施方案的反馈处理模块的框图。

图3是根据一些实施方案的由图形引擎生成并被编码用于通过网络进行传输的图像的示例。

图4是根据一些实施方案的基于从编码器接收的反馈来配置图形引擎的方法的流程图，该编码器对由图形引擎产生的图形内容进行编码。

具体实施方式

云服务器集成了视频编码器来压缩数据以通过将云服务器连接到客户端装置的网络进行传输。视频压缩通常基于二维(2D)视频编解码器或多视图视频编解码器(MVC)(诸如但不限于H.264/MVC、H.265(HEVC)、VP8、VP9和AV1)执行。在一些情况下，图形引擎提供其他信息来辅助视频编码器。例如，图形引擎向视频编码器提供深度信息，视频编码器使用该信息来定位图像中的感兴趣区域(ROI)。然后，编码器分配其他位，以对图像的在ROI中的部分进行编码。对于另一个示例，图形引擎提供图形上下文以辅助视频图像的压缩。在一些情况下，响应于改变网络状况(包括带宽、往返时间、抖动等的变化)而修改诸如编码帧速率或量化的编码参数。但是，由于常规的云服务器不包括用于将信息从编码器传送回图形引擎的通道，因此图形引擎仍未意识到在编码器处执行的调整。缺少反馈导致编码后的比特流的视觉质量降低以及图形引擎处的不必要计算。例如，图形引擎启用了全套3D效果来渲染高度纹理化的内容，但是在一些情况下，编码器约束阻止了编码器以图形引擎产生的质量级别传递图形内容，这降低了用户体验。