[发明专利]经由远程渲染的视频流进行3D模型的可视化和交互的系统和方法

说明书

本公开涉及用于然后由远程计算机访问的3D模型的本地渲染的系统和方法。该系统的优势在于，渲染复杂3D模型所需的大量硬件被集中化，并且能够由小型远程计算机访问，而无需专门的硬件或软件安装。该系统还提供了增强的安全性，因为可以将模型数据限制于有限数量的服务器，而不是存储在各个计算机上。

相关应用

本申请要求于2018年9月10日提交的标题为“VISUALIZATION AND INTERACTIONOF 3D MODELS VIA REMOTELY RENDERED VIDEO STREAM SYSTEM AND METHOD”的美国临时专利申请No.62/729,307和于2018年9月11日提交的标题为“VISUALIZATION ANDINTERACTION OF 3DMODELS VIA REMOTELY RENDERED VIDEO STREAM SYSTEM AND METHOD”的美国临时专利申请No.62/729,935的权益和优先权，这些申请的全部内容通过引用并入本文。

背景技术

由工业控制和监视软件平台生成的3D模型正在变得越来越大和越来越复杂，从而导致任何试图处理和可视化数据的计算机对硬件的要求在增加。一些系统提供者使用某种形式的服务器侧渲染，使用光线跟踪产生图像。其它视频流传输技术也很普及(例如，Skype)，但仅流传输自创建内容。诸如WebRTC之类的一些技术提供了执行视频和通信的低时延流传输的能力，但仅仅是用于这样做的框架或SDK，并且不生成编码内容。

发明内容

根据各种实施例，本文描述的系统和方法涉及促进对在本地计算机处生成的三维(3D)模型的渲染，该三维(3D)模型可以使用远程计算机来操纵(例如，提供可视化服务器进程，从而将渲染的3D数据的交互式视频流传递到具有视频回放能力的一个或多个网络连接)。根据一些实施例，3D模型的本地渲染的优点包括在需要时升级本地装备以支持不断增长的复杂3D模型的能力，同时获得在可以支持视频流传输的任何远程计算机上渲染3D图像的能力。在一些实施例中，系统将图形处理单元(GPU)与位于本地站点的一个或多个处理器和非暂态计算机可读介质结合使用以生成3D模型。在一些实施例中，通过连接将3D模型的渲染作为视频流传递到一个或多个远程计算机。然后，根据一些实施例，用户可以使用各种命令来操纵3D模型。根据各种实施例，该系统极大地减少了时延对用户体验的影响，并且由于仅在本地网络内可访问而提供了更高的安全性。在一些实施例中，时延小于50ms。通过将3D数据集中在本地可访问的内部部署的网络上，在一些实施例中，3D模型变得高度可访问，而无需将相同的3D模型复制和/或拷贝到每个单独的远程计算机上。这也提供了增强的安全性，因为根据一些实施例，模型数据的使用可以限于特定数量的计算机，而不是多个最终用户计算机。另外，在一些实施例中，多个远程计算机可以间歇性地或同时访问本地计算机上的相同3D模型。

本发明的一些实施例包括可以在等待客户端连接的任何计算机上托管的系统和处理。本发明的一些实施例使得能够进行远程渲染，使得任何计算机都能够显示一个或多个复杂模型的渲染而不需要任何特殊的硬件或软件安装。在一些实施例中，这些连接可以用于发送实时视频流，该实时视频流是通过在本地计算机上渲染指定的3D模型并以交互速率对每一帧进行编码而生成的。在一些实施例中，来自本地计算机的渲染以视频流的形式被传递到远程计算机。

在一些实施例中，一旦开始流传输，远程计算机就可以通过向本地计算机发送简单的JavaScript对象表示法(JSON)命令来与渲染交互以允许导航、拾取、平移、缩放以及其它3D模型交互。在一些实施例中，对3D视图具有视觉影响(例如，视点改变)的交互可以触发新帧在本地计算机上被渲染并且作为视频流的一部分被流传输给用户。根据一些实施例，在交互、渲染和/或流传输的反馈环之后，用户可以与他们的远程计算机上的3D模型的渲染自由地交互。