[发明专利]通用屏幕内容编解码器

说明书

背景

屏幕内容，或由计算系统在显示器上向用户显示的描述信息的数据，通常包括多个不同类型的内容。这些内容可包括，例如，文本内容、视频内容、静态图像(例如，窗口或其它GUI元素的显示)、以及幻灯片或其它呈现素材。屏幕内容被越来越多地远程递送，例如使得两个或多个远程计算系统可共享公共的显示从而允许两个位于远程的个体同时查看相同屏幕，或另外地在电话会议中递送使得屏幕在多个个体之间共享。由于屏幕内容被远程递送，并且归因于渐增的屏幕分辨率，希望将此内容压缩到低于其本身位图尺寸的大小、以节省带宽并增强传输效率。

虽然存在针对图形数据(诸如屏幕内容)的多种压缩解决方案，这些压缩解决方案不足以用于可变屏幕内容。例如，传统的运动图片专家组(MPEG)编解码器因压缩解决方案依赖于顺序帧之间的差异而提供针对视频内容的令人满意的压缩。此外，许多设备具有集成的可高效解码这样编码的数据的MPEG解码器。然而，MPEG编码不提供针对非视频内容(尽管如此其可随时间变化)的大量的数据压缩，并因此未被典型地用于屏幕内容，尤其是针对远程屏幕显示。

为了解决以上的问题，编解码器的混合可被用于图形数据的远程递送。例如，文本数据可使用无损编解码器，而针对屏幕背景数据或视频数据，压缩该数据的有损编解码器(例如，MPEG-4AVC/264)可被使用。此外，在一些情况下，可在渐进的基础上执行有损压缩。然而，这种对混合编解码器的使用产生了问题。首先，由于一个以上的编解码器被用于编码图形数据，因此在接收该图形数据的远程计算系统处也使用多个不同的编解码器。具体而言，当远程计算系统是瘦客户端设备时，不太可能本地硬件支持所有这样的编解码器。因此，在通用处理器上的软件解码被执行，其是计算资源密集的并使用大量功率消耗。此外，由于在屏幕图像的不同区域中使用具有不同处理技术和有损水平的不同编解码器，图形残余或伪像可在低带宽情况中出现。

概述

概括来说，本申请涉及被用于屏幕内容的通用编解码器。具体而言，本申请一般涉及用于处理屏幕内容的方法和系统，该屏幕内容诸如包括多个不同类型的屏幕内容的各屏幕帧。这样的屏幕内容可包括文本、视频、图像、特殊效果或其它类型的内容。通用编码可符合基于标准的编解码器，从而允许计算系统接收经编码的屏幕内容以使用被普遍地合并到这样的计算系统内的专用处理单元来解码该内容，并避免消耗功率的软件解码过程。

在第一方面，一方法包括接收包括多个屏幕帧的屏幕内容，其中各屏幕帧中的至少一个屏幕帧包括多个类型的屏幕内容。该方法还包括使用单个编解码器来编码各屏幕帧中包括该多个类型的屏幕内容的该至少一个屏幕帧，以生成符合基于标准的编解码器的经编码的比特流。

在第二方面，一系统包括计算系统，该计算系统具有可编程电路和包含计算机可执行指令的存储器。计算机可执行指令在被执行时，致使计算系统向编码器提供多个屏幕帧，其中各屏幕帧的至少一个屏幕帧包括多个类型的屏幕内容。它们还致使计算系统使用单个编解码器来编码各屏幕帧的包括该多个类型的屏幕内容的至少一个屏幕帧，以生成符合基于标准的编解码器的经编码的比特流。

在第三方面，揭示了包括存储于其上的计算机可执行指令的计算机可读存储介质。当被计算系统执行时，计算机可执行指令致使计算系统执行包括接收包括多个屏幕帧的屏幕内容的方法，其中屏幕帧的至少一个屏幕帧包括文本内容、视频内容和图像内容。该方法还包括使用单个编解码器来编码各屏幕帧的包括该文本内容、视频内容和图像内容的该至少一个屏幕帧，以生成符合基于标准的编解码器的经编码的比特流。

提供本发明内容以便以简化的形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

图1示出系统的示例说明性安排，其中在计算系统处从远程源接收到的图形数据被处理；

图2示出利用多个编解码器的示例远程桌面协议流水线安排；

图3示出根据本发明的一示例实施例的利用通用屏幕内容编解码器的示例远程桌面协议流水线安排；

图4是图3的安排内的数据流的逻辑图；

图5是根据一示例实施例的被执行来实现通用屏幕内容编解码器的示例过程集的流程图；

图6是根据一示例实施例的通用屏幕内容编解码器的实现的详细体系架构图；

图7示出根据一示例实施例的被用于视频内容编码器中的示例数据流；