[发明专利]基于编码器提示的渲染和预编码负载估计的系统和方法

说明书

本申请公开了用于提示编码器的系统和方法，其中服务器监测与帧渲染中的变化有关的信息、计算公差边界、滚动平均帧时间和帧时间的短期趋势，使用那些计算来识别帧时间峰值。然后，服务器提示编解码器(编码器)以与帧时间峰值的大小成比例地调制帧输出的质量设置。在某些实施例中，渲染器在游戏环境中记录一个或更多个通关，将来自一个或更多个通关的多个帧排序到热图的多个单元格中并收集已排序帧的列表。然后，编码器可以对已排序帧的列表中的一个或更多个帧进行编码，以计算热图中每个单元格的平均编码帧大小，并将每个平均编码帧大小与每单元格归一化编码器质量设置相关联。

本申请为分案申请，其原案申请是申请号为PCT/US2018/028594、申请日为2018年4月20日的PCT申请并且于2019年12月20日进入中国国家阶段，中国国家申请号为201880041815.0，发明名称为“基于编码器提示的渲染和预编码负载估计的系统和方法”。

背景技术

远程游戏应用程序(其中服务器端游戏由客户端玩家控制)已尝试使用现有或定制的编解码器(也称为编码器)对来自三维(3D)图形引擎的视频输出进行实时编码。然而，视频游戏的交互性质、特别是在视频输出与玩家输入之间的玩家反馈循环使得游戏视频流比传统视频流对延迟更加敏感。现有的视频编码方法可以为减少编码时间而牺牲计算能力，而别无其他。用于将编码过程集成到视频渲染过程中的新方法能够显著减少编码时间，同时还可以降低计算能力，改善编码视频的质量并保留原始比特流数据格式以保留现有硬件设备的互操作性。

在多遍编码过程的第一遍次，在有效地打包数据以适合连续遍次的比特率约束之前，计算编码成本或每个编码视频帧的大小。多遍编码的益处是可观的，可以为比特率约束提供最高的质量，但是传统的多遍编码需要访问完整的视频文件，使其不适合实时流应用。

实时流应用通常使用单遍编码，因为视频事先不可用。对实时流编码的时间约束阻碍了编码器以受限比特率打包视频信息的能力。因为不是在单遍编码中计算编码成本，所以在编码高熵帧时网络流量会激增。

实时渲染视频在诸如视频游戏流的实时流应用中越来越多地被使用，其中高质量和约束带宽都被高度重视。与录制的视频不同，渲染的视频可访问有关每个帧的附加信息，这些信息能够被重新用于估计对帧进行编码的成本。以这种方式，多遍编码方案中的第一遍次的结果能够被近似以在比特率约束内实现最高质量的编码的视频。许多渲染引擎具有关于将要渲染的图像的部分信息，并且可以预生成在运行时期间能够被使用的编码器质量设置。以这种方式，能够在实况流环境中实现多遍编码模式的益处。然而，如下所述，当前的计算机技术仍然不足以足够程度地估计编码质量以执行高质量的实时渲染视频的渲染，同时补偿由于熵增加而引起的流量尖峰。此外，目前还没有一种编码技术可以在保留实时环境的同时，在空间上而不是在时间上对多遍编码进行预编码。

美国专利第7,844,002B2号(“'002专利”)公开了利用超前信息用于实现MPEG视频编码以便达到恒定比特率的系统和方法。该系统由两个视频编码器组成，其中一个编码器相对于另一个编码器的超前窗口将输入延迟了一段时间。在'002专利的系统中，视频编码器之一用作缓冲器(超前)设备，延迟输入视频帧，以使用作信息收集器/处理器的第二个视频编码器具有提取相关信息并确定视频帧的编码策略所需的时间。一旦确定了该策略，将编码参数传递到编码器设备以执行。与本发明相比，'002专利的技术是有缺陷，至少是因为其没有公开用于计算实时流应用中的渲染视频的帧编码成本的技术，提供用于游戏应用的实时流的足够低的等待时间，或提供使用视频数据在比特率限制内最大化编码视频的技术。本发明也是优越的，因为它收集和存储视频数据的编码器设置，其能够无限期地重复使用。