[发明专利]用于利用多个细节级别和自由度的自适应空间内容流传输的系统和方法

说明书

本发明公开的示例性方法的一些实施方案可包括：接收用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示；跟踪可用带宽；基于该可用带宽，从该一个或多个自由度表示中选择选定的表示；检索该选定的表示；以及渲染该选定的表示。该示例性方法的一些实施方案可包括确定该一个或多个自由度表示的估计的下载延迟。该示例性方法的一些实施方案可包括跟踪客户端能力。对于该示例性方法的一些实施方案，选择该选定的表示可基于估计的下载延迟和/或该客户端能力。

相关申请的交叉引用

本申请是2019年1月24日提交的名称为“SYSTEM AND METHOD FOR ADAPTIVESPATIAL CONTENT STREAMING WITH MULTIPLE LEVELS OF DETAIL AND DEGREES OFFREEDOM”的美国临时专利申请序列号62/796,406的非临时申请，并且根据35 U.S.C.§119(e)要求该美国临时专利申请和2019年7月9日提交的名称为“SYSTEM AND METHOD FORBALANCING DOWNLOADS IN SPATIAL DATA STREAMING”的美国临时专利申请序列号62/871,942的权益，这些临时专利申请中的每个临时专利申请据此全文以引用方式并入本文。

背景技术

MPEG-DASH协议通过关注视频内容来解决流媒体分发带宽的动态变化。一些先前的自适应空间内容流传输系统关注单个空间内容类型，诸如多边形网格格式的3D数据。一些系统调整以适应客户端处的带宽限制和计算性能。

与流传输数据实质上总是图像帧序列的视频内容相反，在内容如何组织和旨在用于最终在客户端侧处产生发送到显示器的图像方面，空间数据可具有大得多的可变性。不同的内容格式在内容质量、存储器消耗和允许的导航自由度方面具有不同的特征和变化。此外，在一些情况下，一些空间内容格式可能需要在内容渲染开始之前下载大量内容资产。

发明内容

根据一些实施方案的示例性方法可包括：接收用于流传输内容的清单文件，该清单文件识别内容的一个或多个自由度表示；跟踪可用带宽；基于该可用带宽，从该一个或多个自由度表示中选择选定的表示；检索该选定的表示；以及渲染该选定的表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示；以及渲染第二表示。

对于一些实施方案，该示例性方法还可包括：确定该一个或多个自由度表示的估计的下载延迟；响应于估计的下载延迟，从该一个或多个自由度表示中选择第二表示；检索第二表示的初始下载数据；请求第二表示的流片段；以及显示构成完整的空间数据场景视图的所检索的初始下载数据和流片段。

对于该示例性方法的一些实施方案，该一个或多个自由度表示可包括内容的0DoF表示、3DoF表示、3DoF+表示和6DoF表示。

对于该示例性方法的一些实施方案，可进一步基于客户端能力和客户端运动范围中的至少一者来选择选定的表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端的运动范围；检测客户端的运动范围的变化；以及响应于检测到客户端的运动范围的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：跟踪客户端能力；检测客户端能力的变化；以及响应于检测到客户端能力的变化，从该一个或多个自由度表示中选择另一个表示。

对于一些实施方案，根据一些实施方案的示例性方法还可包括：检测可用带宽的变化；响应于检测到可用带宽的变化，从该一个或多个自由度表示中选择附加的表示；检索该附加的表示；以及渲染该附加的表示。