[发明专利]用于计算机生成现实的媒体合成器

权利要求书

1.一种方法，包括：

在具有处理器的设备处：

获得包括渲染帧的第一数据流，所述渲染帧表示针对至少两个不同视点而在用户体验期间渲染的真实内容和虚拟内容；

获得第二数据流，所述第二数据流包括与所述用户体验相关的附加数据；

确定另一视点，所述另一视点是与在所述用户体验期间渲染的所述至少两个不同视点不同的视点；以及

针对所述另一视点和在所述用户体验期间渲染的所述至少两个不同视点，基于使所述第一数据流和所述第二数据流对齐，

来生成合成流。

2.根据权利要求1所述的方法，其中所述第二数据流包括裁切的帧以及与用户视点相关联的所述用户体验的二维(2D)视图的帧流，所述裁切的帧各自通过识别所述用户体验的左眼视图和右眼视图的公共部分来形成。

3.根据权利要求1所述的方法，其中所述合成流包括合成帧，所述合成帧各自包括对应于单个时间点的时间戳n维图像。

4.根据权利要求1所述的方法，其中所述合成流使所述渲染帧内容与所述附加数据对齐，以记录多个时间点的内容。

5.根据权利要求1所述的方法，其中所述第二数据流是基于所述至少两个不同视点而获得的。

6.根据权利要求1所述的方法，还包括通过在非暂态计算机可读介质上记录所述合成流来记录所述用户体验。

7.根据权利要求1所述的方法，还包括通过根据预先确定的实时流式传输格式对所述合成流进行编码来实时流式传输所述用户体验。

8.根据权利要求1所述的方法，其中所述合成流包括表示所述虚拟内容或所述真实内容的三维(3D)几何形状的3D模型。

9.根据权利要求1所述的方法，还包括识别在所述用户体验期间产生音频的真实或虚拟音频源，其中所述合成流识别所述真实或虚拟音频源。

10.根据权利要求1所述的方法，其中所述附加数据包括与多个时间点中的单个时间点相关联的元数据。

11.根据权利要求10所述的方法，其中所述元数据识别所述用户体验的真实物理特性。

12.根据权利要求10所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的人。

13.根据权利要求10所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的用户的身体部位。

14.根据权利要求1所述的方法，其中所述附加数据包括来自与所述设备分开的第二设备的所述用户体验的第二渲染内容。

15.根据权利要求1所述的方法，其中所述虚拟内容由在提供所述用户体验的框架内执行的应用程序提供，其中所述应用程序具有所述框架的资源的独占使用。

16.根据权利要求1所述的方法，其中所述虚拟内容由在提供所述用户体验的框架内执行的应用程序提供，其中所述应用程序将所述框架的资源的使用与其他应用程序共享。

17.根据权利要求1所述的方法，还包括对所述渲染帧中的展开的中间凹图像施加逆变换以产生非中间凹图像，其中所述合成流包括所述非中间凹图像。

18.根据权利要求1所述的方法，其中所述设备为头戴式设备HMD、在与所述HMD相同的物理环境中通信地耦接到所述HMD的控制器、或在与所述HMD分开的物理环境中通信地耦接到所述HMD的服务器。