[发明专利]用于云游戏的方法和装置

说明书

本公开的各方面提供用于云游戏的方法和装置。在一些示例中，用于云游戏的装置包括处理电路。例如，该处理电路接收视频序列和与该视频序列相关联的元数据。该视频序列包括响应于游戏控制信息生成的图片帧序列，并且该元数据是基于该游戏控制信息确定的。该处理电路可以基于该元数据确定用于对该视频序列进行编码的编码配置。然后，该处理电路基于该编码配置将该视频序列编码成已编码视频码流。

交叉引用

本申请要求于2021年2月24日提交的美国专利申请第17/184,082号“用于云游戏的方法和装置(METHOD AND APPARATUS FOR CLOUD GAMING)”的优先权，该申请要求于2020年3月16日提交的美国临时申请第62/990,204号“在云游戏系统中用元数据进行视频编解码的方法(METHOD OF VIDEO CODING WITH META DATA IN CLOUD GAMING SYSTEM)”的优先权。在先申请的全部公开内容通过引用全部结合在本申请中。

技术领域

本公开描述了通常涉及云游戏领域中的多媒体技术的实施例。

背景技术

本文所提供的背景描述旨在整体呈现本申请的背景。在背景技术部分以及本说明书的各个方面中所描述的目前已署名的发明人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。

云游戏服务是可以从多个服务提供商处获得的趋势在线服务。云游戏也可以称为按需游戏(gaming on demand)。在云游戏系统中，游戏在远程服务器上运行，被称为基于云的游戏。用户可以通过用户设备来玩基于云的游戏。游戏内容可在移除服务器上生成，并且流式传输至用户设备并且在用户设备上显示。

发明内容

本公开的各方面提供用于云游戏的方法和装置。在一些示例中，用于云游戏的装置包括处理电路。例如，该处理电路接收视频序列和与该视频序列相关联的元数据。该视频序列包括响应于游戏控制信息生成的图片帧序列，并且该元数据是基于该游戏控制信息确定的。该处理电路可以基于该元数据确定用于对该视频序列进行编码的编码配置。然后，处理电路根据编码配置将视频序列编码成已编码视频码流。

在一实施例中，元数据包括运动矢量，并且处理电路基于运动矢量确定用于对视频序列的图片帧内的块进行编码的运动搜索的起始点。

在另一实施例中，所述元数据至少指示所述视频序列的图片帧的一种图片特性，

所述图片特性包括场景变化特性、照明变化特性、闪烁特性、平移特性、缩放特性、衰退特性和覆盖特性。处理电路可以基于图片特性确定对图片帧进行编码的编码配置。

在另一实施例中，元数据指示图片帧中的边界框。处理电路可以基于边界框，

确定未覆盖区域的先前图片帧中的参考区域，所述未覆盖区域未被相对于当前图片帧的前一图片帧的当前图片帧中的边界框覆盖；以及基于先前图片帧中的参考区域，通过当前图片帧中的边界框对未覆盖区域进行编码。

在另一实施例中，元数据指示从第一图片帧到第二图片帧的模型变换。处理电路可以基于模型变换来确定编码配置，并且可以根据编码配置，基于第一图片帧中的参考块。对第二图片帧中的块进行编码。

在另一实施例中，元数据指示当前图片帧的对象在后续图片帧中的存在。处理电路基于元数据确定缓冲器配置。

在另一实施例中，元数据指示图片帧的噪声水平。处理电路可以基于噪声水平对图片帧进行预处理/后处理。

在另一实施例中，元数据指示图片帧中的感兴趣区域。处理电路使用第一编码配置对感兴趣区域进行编码，该第一编码配置具有比用于对感兴趣区域之外的块进行编码的第二编码配置更高的质量。

在另一实施例中，元数据指示图片帧的区域中的图形覆盖。处理电路基于图形覆盖确定对区域进行编码的编码配置。