[发明专利]用于计算机生成现实的媒体合成器

说明书

一种具体实施使用与计算机生成的现实(CGR)体验相关的多个数据流来形成CGR内容的合成流以有利于记录或流式传输。媒体合成器获取渲染帧的第一数据流和附加数据的第二数据流。渲染帧内容(例如，3D模型)表示在多个时间点处的CGR体验期间呈现的真实内容和虚拟内容。第二数据流的附加数据涉及CGR体验，例如，与音频、音频源、识别CGR体验的检测到的属性的元数据、图像数据、来自涉及CGR体验的其他设备的数据等有关。媒体合成器形成合成流，该合成流使所述渲染帧内容与多个时间点的附加数据对齐，例如，通过形成对应于单个时间点的时间戳n维数据集(例如，图像)。

本申请是申请日为2019年7月30日、申请号为201910694857.0、发明名称为“用于计算机生成现实的媒体合成器”的中国发明专利申请的分案申请。

相关申请的交叉引用

本申请要求2018年8月6日提交的美国临时申请序列号62/714,869的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及三维(3D)内容，并且具体地涉及用于记录或流式传输计算机生成现实(CGR)内容的系统、方法和设备。

背景技术

现有计算系统和应用程序不能充分促进CGR内容的记录或流式化。

发明内容

本文所公开的各种具体实施包括将与CGR体验相关联的多个数据流合成以形成合成流以有利于CGR内容的记录或流式传输的设备、系统和方法。合成流可被存储用于稍后回放或实时流式传输以在一个或多个其他设备上进行实时回放。合成流表示CGR内容，其本身可以是真实内容，自身渲染的内容(例如，仅VR内容)，内容的3D表示(例如，未渲染的模型)，或它们的组合。

一些具体实施涉及在具有一个或多个处理器和计算机可读存储介质的设备处执行操作。该设备获得包括渲染帧的第一数据流和包括附加数据的一个或多个附加数据流。渲染帧内容(例如，2D图像或3D模型)表示在多个时间点的CGR体验中呈现的真实内容或虚拟内容。一个或多个附加数据流的附加数据与多个时间点处的CGR体验相关。在一个示例中，附加数据是来自作为CGR体验一部分的真实或虚拟音频源的音频。在另一个示例中，附加数据是识别CGR体验的检测到的属性的元数据，诸如实际物理特性(例如，照明，温度等)，涉及CGR体验或在CGR体验中检测到的人等。在另一个示例中，附加数据为来自作为相同共享CGR体验一部分的第二设备的渲染帧内容，这可能来自不同的查看透视图。

设备使用数据流(例如，使用来自第一数据流和第二数据流的数据)形成合成流。合成流使渲染帧内容与多个时间点的附加数据对齐。例如，音频片段可与在相同时间点处或周围呈现的对应渲染帧相关联。又如，关于人的身份的元数据与该人在其中出现的渲染帧相关联。在一些具体实施中，合成流具有合成帧，每个合成帧提供对应于单个时间点或时间片段的时间戳n维数据集(例如，图像)。此类n维数据集/图像的尺寸可对应于所述渲染帧以及附加数据(例如，音频，元数据，捕获的图像等)的两个或三个维度。合成流可存储为CGR体验的记录或实时流式传输以允许其他人经由其他设备体验CGR内容。

一些具体实施提供了合成流，其包括关于CGR体验的比传统视频记录技术的屏幕和音频捕获信息更丰富的信息。合成流可包括关于CGR体验中的真实对象或虚拟对象的3D几何形状的信息。在合成流中包括真实对象或虚拟对象的3D模型能够增强记录或实时流式传输的观看者的体验，例如允许观看者从不同于创作者的视点的视点体验场景，从而允许观看者移动或旋转对象。又如，在合成流中包括音频源信息同样能够增强体验，例如，允许观看者基于其自身的头部取向，相对于音频源的相对定位等来体验声音。