[发明专利]一种基于深度和动作流信息的远程绘制方法

说明书

技术领域

本发明属于计算机虚拟现实技术领域，具体地说是涉及一种远程绘制的方法，服务器端绘制低分辨率图像，计算深度和动作流信息，客户端根据这些信息恢复出高分辨图像，完成远程绘制。

背景技术

近些年来，随着计算机硬件更新换代速度的加快以及车载电脑等移动终端的普及，运用于三维图像交互的服务器/客户端平台在我们的生活中扮演者越来越重要的角色。这种平台把计算量巨大的渲染工作交给服务器来完成，然后把渲染好的帧序列以视频的方式传输给客户端，而客户端只需要具有网页浏览和视屏播放的功能就可以了。这种服务器/客户端图形平台具有很多优点，除了可以降低对客户端配置的要求，还可以把大量的数据保存在服务器，简化了数据维护工作，提高了数据保密性，同时还可以在协同工作环境中保证数据的一致性。但是这种体系存在这两个主要难点：一是服务器负载，大场景或者复杂的模型的渲染总是需要服务器进行大量的计算，一方面增加了响应时间，另一方面限制了服务器为多台客户端提供服务的能力；二是带宽，传输高分辨率图像所需要较高的带宽，如传输HD 1080p视频需要至少5Mbps的带宽才能取得较好的传输质量。为了解决这些问题，很多研究都是从两个方向入手:

（1）降低服务器端渲染数据量。文献1—Dabrius Burschka，Gregory D Hager，Zachary Dodds etc.Recent Method for Image-Based Modeling and Rendering，IEEE Virtual Reality 2003 March 22-26，2003，Los Angeles，CA，299.提供了在渲染服务器和客户端之间有效地分配渲染负载和数据传输的专用算法。文献2—Cohen-or D，Mann Y，Fleishman S.Deep compression for streaming texture intensive animations.In Proceedings of SIGGRAPH(1999)，pp.261-268.利用流残差值（高质量服务器端帧和低质量客户端帧之间的差别）来提高客户端的渲染能力，这种方法需要强大的客户端，并且无法再服务器端进行绘制。文献3—Sitthi Amorn P，Lawrence J，Yang L，Sander P V，Nehab D.An Improved Shading Cache for Modern GPUs.In Proc.APGV(2008)，pp.193-197.通过分析时间数据重投影在GPU上的开销设计了一种算法，重利用当前帧的着色信息来提高下面的帧序列着色计算的速度。文献4—Yang L，Sander P V，Lawrence J.Geometry-Aware Framebuffer Level of Detail.Comp.Graph.Forum(Proc.Of EGSR)27，4(2008)，1183-1188.提出了一种LOD算法来控制进行像素处理的开销。HEMS提出了时空向上采样算法，结合时间向上采样和空间向上采样的算法来降低像素处理的开销。文献5—Herzog R，Eisemann E，Myszkowski K，Seidel H P.Spatio-temporal Upsampling on The GPU.In Proc.of I3D(2010)ACM，pp.91-98.把渲染和视频流压缩结合在一起，不对在压缩过程中需要被移除的部分进行渲染工作，降低服务器端的负载。