[发明专利]低延时传输协议的方法和系统

说明书

对相关申请的交互使用

本申请要求优先权，优先权申请为2009年9月29日提出的申请号：12/569,876的美国专利申请；本申请参考引用并入了如上所述申请的全部内容。

背景技术

虚拟桌面基础架构(VDI)是一个服务器为中心的计算模式，在数据中心主持和管理桌面虚拟机，同时在网络上通过瘦客户机向终端用户提供完整的PC桌面体验。

一些现有的解决方案增加了将引入的客户会话传入传统的共享桌面系统的能力，如微软的终端服务或Citrix的应用服务器、刀片服务器，甚至个人闲置的实体桌上型计算机。

VDI解决方案涉及服务器端窗口实例的远程执行，通过网络，利用如RDP或ICA等协议将屏幕更新发送至客户端显示设备。然而，先前之协议仅约每100毫秒将视频帧缓冲至客户端，因而不适用于如今图形密集型和要求音视频同步的应用程序。

现行有几种能提供VDI解决方案的方法。

“屏幕刮”方法包括利用协议“刮”图形元素，绘制主机的“屏幕”，并传送至客户端。例一，客户端能够联系服务器，并从帧缓冲区拉出一张新的屏幕“快照”。例二，服务器能连续将其屏幕活动推送至客户端。所推送活动可能是帧缓冲级、GDI/窗口管理级，或两者兼有。上述示例能使用缓存在客户端的常用图形元素。

屏幕刮法能与“多媒体重定向”相结合，其中服务器端的多媒体元素以其原生格式发送至客户端设备。客户端可以本地播放多媒体流，并将其动态地插入屏幕上适当位置。

这种方法适用于：(1)客户端具备呈现多媒体的技术能力和硬件，和(2)客户端已安装合适的编解码器，以正确呈现多媒体内容。实际上，这意味着客户端不能“太瘦”。

服务器图形系统虚拟化“虚拟”主机的图形系统。主机上的软件捕获所有可能的图形层(GDI，WPF，DirectX等)，并将其呈现为远程协议流(如远程桌面协议RDP)，尽快发送至客户端。这能给客户端一种体验，该体验很接近局部特性，而与客户端设备无关(低阶或瘦客户端同样适用)。

服务器和客户端的硬件加速使用主机上特殊的芯片组，该芯片组捕捉通过网络传输的屏幕。客户端设备具备相匹配的，用于呈现的特殊芯片组。

上述方法解决了通过网络实时远程显示图形信息的问题，但不能提供低延时和高质量和互动性的动态图形和全动态视频传输。仍存在下列问题：

·对全动态视频的支持有限。

·即使近距离工作(WAN，广域网)，固有延时仍很明显。

·不可信赖网络环境的性能和质量低下，数据包丢失、抖动和延时的可能性较高(如互联网)。

·当网络中出现重大数据流时，不能出于延时和用户体验质量的考虑，优先化流量。

·音视频流量的同步不一致。

·无法处理各种输入和输出，如全身感应、视频、声音、传感器和动作-所有此类都归属于背景信息。

导致上述问题的原因，部分在于，如Microsoft RDP，Citrix ICA，AT&T的VNC等现行方法在设计之时，视频和高度互动性的图形用户接口还未在用户计算机上普及。

因此，需要为远程计算提供改进的传输协议。

附图说明

当参考如下描述，以及各附图，本申请所公开的特征和对象则更显而易见，其中类似参考序号代表类似元素：

图1系为远程计算提供改进传输协议的示例系统。

图2系为远程计算提供改进传输协议的示例服务器。

图3系为远程计算提供改进传输协议的示例客户端。

图4系为远程计算提供改进传输协议的客户端上执行的捕获输出和编码引擎的示例。

图5系为远程计算提供改进传输协议的客户端上执行的解码和呈现引擎的示例。

图6系服务器所执行的示例步骤，依据改进的传输协议进行捕获、编码和发送。

图7系客户端所执行的示例步骤，依据改进的传输协议进行接收、解码和呈现。

图8系为远程计算提供改进传输协议的示例网络堆栈。

图9系服务器所执行的示例步骤，用于提供区域检测模块。

图10系服务器所执行的示例步骤，用于提供简单运动检测模块。

图11A系第一运动检测器的示例屏幕截图。

图11B系第二运动检测器的示例屏幕截图。

图11C系第三运动检测器的示例屏幕截图。

图12系为远程计算提供改进传输协议的示例视频编码器。

图13系预处理图形输出的示例步骤。