[发明专利]混合式流式传送

说明书

本发明特别地涉及一种用于显示建模对象的3D组件的计算机实现的方法。该方法包括：从第一计算机向第二计算机流式传送第一3D建模对象的至少一个光栅图像，并且通过将第二3D建模对象与所流式传送的至少一个光栅图像融合而在第二计算机上渲染建模对象的3D组件。

技术领域

本发明涉及计算机程序和系统领域，并且更具体地涉及用于显示建模对象的3D组件(3D assembly)的方法、系统和程序。

背景技术

在计算机辅助设计(CAD)、计算机辅助工程(CAE)、计算机辅助制造(CAM)、虚拟世界、在线视频游戏，以及更一般地在3D在线应用的背景下，三维(3D)环境(也被称为3D场景)及其内容的显示-描述部分或完整的3D虚拟环境的各种资产-仍然是挑战。3D场景包括3D模型，其中每个3D模型是资产并且具有包括多边形网格、样条表面、构造的实体几何图形等等的通常表示。材料和纹理也可以是3D场景的资产，以及3D模型的动画、光、场景图。托管资产的计算机被称为内容服务器。可以在第二计算机上显示从特定视点(也被称为虚拟相机)观看的该3D场景的渲染图像。远程渲染的该过程典型地用于云游戏、虚拟地球仪、虚拟世界。在其上执行该远程渲染的第二计算机被称为客户端。

通过考虑3D投影和若干照明效果(阴影、反射等)，3D在线应用包括被称为3D渲染引擎的软件部件以产生从特定视点观看的3D场景的一个或多个图片。为了实现其目标，这样的3D在线应用必须在给定的时间将3D场景的信息从一个或多个服务器传送到一个或多个客户端。

基本上存在两个用于执行3D场景的远程渲染的场景。第一个在于将3D内容从服务器直接发送到客户端，并且该客户端执行渲染步骤。这将被称为几何图形流。该方法通常描述虚拟世界如何工作。第二场景包括执行渲染步骤并将结果(静态图像或视频流)发送到客户端的服务器。这将被称为像素流。该方法通常描述远程渲染和云游戏如何工作。

几何图形流可以使用许多策略来传输3D场景的内容。策略的示例是细节的级别的概念：对于每个资产，从可见性计算推导不干扰最终渲染的整体质量的最小质量级别。如果客户端高速缓存中的资产的版本未达到所需的质量级别，服务器发送细化(通常是所需版本和客户端高速缓存中的版本之间的差异)。在这样的策略中涉及的技术的示例是渐进网格、地形位移映射、基于体素的点云、细节的分层级别。

在像素流的情况下，传送的数据是通常用标准压缩方案(用于图像的JPEG/JPEG2000，以及用于视频的H.264)压缩的图片或视频。存在一些变型方案来跨过多台计算机分布计算。在3D计算机图形中，它指的是用于将3D场景投影到虚拟相机的位置的2D矩形。视口(viewport)是用于显示将被示出的总图像的一部分的屏幕的区域。应用可以剪切视口，并将渲染每个部分(较小的帧)的责任分配给几台计算机。在另一个变型中，应用可以切割3D场景，并将渲染每个部分(较小的资产组)的责任分配给几台计算机。

几何图形流和像素流不同地处理3D在线应用遇到的问题。它们有它们自己的缺点和它们自己的限制，如现在解释的。

几何图形流和像素流随着客户端数量的增加而不同规模。像素流受到严重妨碍，因为计算(包括渲染)的大部分是在服务器端进行的。从而，所需服务器的数量随着客户端数量而快速增长。难以找到可以从一个客户端到另一个重复使用的计算结果，因为它们很少共享相同的视点。几何图形流可以更好地缩放，因为它在服务器端上需要更少的计算。然而，通过计算机网络发送几何图形消耗网络的带宽，并且一般涉及在客户端计算机上渲染的3D场景上的滞后——对应用较少的反应性。

几何图形流和像素流涉及客户端硬件需求。如上所提及的，像素流在客户端侧仅仅具有小计算成本，而几何图形流在客户端侧需要一些3D显示能力。虽然大多数光设备现在受益于用于3D显示的硬件加速，但是它们的能力可能相对有限，这可能导致不太逼真的图片或对应用较小的反应性。