[发明专利]处理3D视频内容

说明书

一种移动设备，包括：网格加载器，其被配置为将压缩的网格序列从远程服务器下载到本地存储缓冲器中；网格解码器，其被配置为将压缩的网格序列实时解码为网格帧；网格解码器管理器，其被配置为从所述网格加载器请求压缩的网格序列，并请求所述网格解码器对所述压缩的网格序列进行解码；播放器管理器，其被配置为对纹理视频进行解码并从所述网格解码器管理器请求相应的已解码的网格，并保持请求所述相应的已解码的网格与解码所述纹理视频之间的同步；以及渲染器，其被配置为使用渲染引擎在画布上渲染所述已解码的网格；以及相机控制器，其被配置为检测一个或多个用户动作，并根据所述一个或多个用户动作控制硬件相机。

相关申请的交叉引用

本申请要求以下美国临时专利申请的权益：

■2017年7月11日递交的序列号：62/531,284；

■2017年7月11日递交的序列号：62/531,310；

■2017年5月6日递交的序列号：62/502,647；

■2017年5月6日递交的序列号：62/502,650；

■2017年8月24日递交的序列号：62/549,593；

■2017年8月24日递交的序列号：62/549,606；以及

■2017年8月24日递交的序列号：62/549,632。

所有上述专利申请在此通过引用以其整体并入本文。

技术领域

本发明主要涉及计算机图形学，并且更具体地涉及处理3D视频内容。

背景技术

对于处理并呈现高质量的全息视频充满困难。例如，纹理化的网格全息图由一系列编码网格和相应的纹理视频组成。这些全息图通常使用低级语言和应用程序接口(API)在本机应用程序中进行渲染。在网络环境中(尤其是在移动设备上)交互式地压缩、解压缩、传输和渲染全息图面临着强大的技术挑战。

通过本文公开的系统和方法减少或消除了上述技术问题。

发明内容

在本发明中公开了用于处理全息视频的系统和方法。一种示例性的基于网络(web-based)的交互式3D纹理网格全息图渲染移动设备包括：网格加载器，所述网格加载器被配置为将压缩的网格序列从远程服务器下载到本地存储缓冲器中；网格解码器，所述网格解码器被配置为将压缩的网格序列实时解码为网格帧；网格解码器管理器，所述网格解码器管理器被配置为从所述网格加载器请求压缩的网格序列，并请求所述网格解码器对所述压缩的网格序列进行解码；播放器管理器，所述播放器管理器被配置为对纹理视频进行解码并从所述网格解码器管理器请求相应的已解码的网格，并且保持请求所述相应的已解码的网格与解码所述纹理视频之间的同步；以及渲染器，所述渲染器被配置为使用渲染引擎在画布上渲染所述已解码的网格；以及相机控制器，所述相机控制器被配置为检测一个或多个用户动作，并根据所述一个或多个用户动作控制硬件相机。

在一些实施方式中，所述渲染引擎为WebGL渲染引擎。

在一些实施方式中，所述画布为HTML 5画布。

在一些实施方式中，所述网格解码器是从所述移动设备不支持的编程语言进行转码的。

在一些实施方式中，所述网格加载器和所述网格解码器管理器是同步执行的。

在一些实施方式中，所述相机控制器使用所述硬件相机捕获所述一个或多个用户动作并将所述一个或多个用户动作作为反馈提供给所述渲染器。

在一些实施方式中，所述网格解码器管理器被配置为根据需要请求所述网格解码器对所述压缩的网格序列进行解码。