[发明专利]用于计算机生成现实的媒体合成器

权利要求书

1.一种方法，包括：

在具有处理器和计算机可读存储介质的设备处：

获得包括渲染帧的第一数据流，所述渲染帧包括渲染帧内容，所述渲染帧内容表示在多个时间点处的用户体验期间渲染的真实内容和虚拟内容；

获得第二数据流，所述第二数据流包括与所述多个时间点处的所述用户体验相关的附加数据，所述第二数据流包括与所述多个时间点的用户视点相关联的所述用户体验的2D视图的帧流，所述帧流包括裁切的帧，所述裁切的帧各自通过识别所述用户体验的左眼视图和右眼视图的公共部分来形成；以及

基于所述第一数据流和所述第二数据流来形成合成流，所述合成流使所述渲染帧内容与所述附加数据对齐，以记录所述多个时间点的内容。

2.根据权利要求1所述的方法，还包括通过在非暂态计算机可读介质上记录所述合成流来记录所述用户体验。

3.根据权利要求1至2中任一项所述的方法，还包括通过根据预先确定的实时流式传输格式对所述合成流进行编码来实时流式传输所述体验。

4.根据权利要求1至3中任一项所述的方法，其中所述合成流包括表示所述虚拟内容或所述真实内容的三维(3D)几何形状的3D模型。

5.根据权利要求1至4中任一项所述的方法，其中所述附加数据包括音频。

6.根据权利要求1至5中任一项所述的方法，还包括识别在所述用户体验期间产生音频的真实或虚拟音频源，其中所述合成流识别所述真实或虚拟音频源。

7.根据权利要求1至6中任一项所述的方法，其中所述附加数据包括与所述多个时间点中的单个时间点相关联的元数据。

8.根据权利要求7所述的方法，其中所述元数据识别所述用户体验的真实物理特性。

9.根据权利要求7所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的人。

10.根据权利要求7所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的用户的身体部位。

11.根据权利要求1至10中任一项所述的方法，其中所述附加数据包括来自与所述设备分开的第二设备的所述用户体验的第二渲染内容。

12.根据权利要求1所述的方法，其中：

所述渲染帧是针对至少两个不同视点而在所述多个时间点处的所述用户体验期间被渲染的；

包括与所述多个时间点处的所述用户体验相关的附加数据的所述第二数据流基于所述至少两个不同视点；以及

基于所述第一数据流和所述第二数据流来形成所述合成流是针对在所述用户体验期间渲染的所述至少两个不同视点。

13.根据权利要求1至12中任一项所述的方法，其中所述虚拟内容由在提供所述用户体验的帧内执行的应用程序提供，其中所述应用程序具有所述帧的资源的独占使用。

14.根据权利要求1至13中任一项所述的方法，其中所述虚拟内容由在提供所述用户体验的帧内执行的应用程序提供，其中所述应用程序将所述帧的资源的使用与其他应用程序共享。

15.根据权利要求1至14中任一项所述的方法，其中所述合成流包括合成帧，所述合成帧各自包括对应于单个时间点的时间戳n维图像。

16.根据权利要求1至15中任一项所述的方法，还包括对所述渲染帧中的展开的中间凹图像施加逆变换以产生非中间凹图像，其中所述合成流包括所述非中间凹图像。