[发明专利]代理服务器、分层次网络系统及分布式工作负载管理方法

说明书

技术领域

本公开涉及网络流量管理技术，尤其是，涉及分层次网络系统中网络应用的分布式工作负载管理方法和系统。 

背景技术

分层次网络系统，例如云计算环境，正在被越来越广泛地应用。象云计算环境这样的多层次系统通常包括，例如，前端的HTTP服务器、中间的代理层以及后端的应用服务器和/或数据库层。HTTP服务器层过滤掉无效的或恶意的请求，并且将合法的请求转发给代理层。然后，代理层将这些请求又路由到所选择的应用服务器和/或数据库层。 

随着云计算的发展，提出了将资源作为服务来提供的概念，其强调对于过载保护以及QoS保证的灵活控制的重要性。因此，在多层次网络系统中对工作负载的管理变得越来越重要。通常，工作负载管理大多数发生在代理层和后端服务器层之间。 

目前已经针对多层次网络系统中的工作负载管理做了很多工作。这些工作主要分为两类：集中式工作负载管理和分布式工作负载管理。 

目前在多层次网络系统中主要使用集中式管理。也就是，依赖于一个中心单元来在多层次网络系统中收集信息和做出请求分派决定。 

在集中式管理架构中，广泛使用集中式控制器来操控流经代理服务器的流量。集中式控制器中的中央管理单元负责收集和审核工作负载到达速率及其响应时间，从而管理给后端服务器的工作负载。在一些情况下，管理决定以集中方式做出，但是由多个代理层服务器来分布式执行。但是在大多数情况下，管理决定以集中方式做出并且以集 中方式执行。 

在这样的集中式管理中，需要预先收集后台应用服务器的信息，诸如CPU利用率和/或存储器利用率和每个请求的执行时间等，并对其进行处理从而建立几种统计数据的样本。然后，中央管理单元执行基于所述样本的训练/学习过程来建立一定的先验知识，然后才能基于所述先验知识对到来的流量进行工作负载管理。通常，这种集中式控制器的部署需要专业技能，用于工作负载管理的系统开销大，并且执行过程非常复杂且耗时。此外，使用集中方式，所有的管理功能都在一个服务器上，而任何服务器都有能力的限制，从而使得在这种情况下可扩展性难以得到提高。更进一步地，集中式管理单元还存在了一个很严重的问题，一旦中央管理单元发生故障，则在群集之间负载不均衡的情况下，会导致资源不被充分利用，甚至会导致整个系统的工作负载管理将不能进行。 

在分布式管理架构中，通常使用分布式控制器优化互联网中的流量工程。这种分布式控制器是在OSI协议栈中的传输层上实现的，并且不依赖于来自后端服务器的诸如后端服务器的CPU/存储器利用率信息等的信息。这种分布式控制器基于在传输层获得的信息，诸如分组的丢失率、数据传输速率等的硬件相关信息，而没有考虑基于服务应用的信息，诸如请求的优先权、请求的响应时间、发出请求的应用相关信息(诸如，客户类型、服务要求等)。因此，这种分布式控制器不能对前端的请求进行服务区分，从而不能为不同服务等级提供不同的QoS保证，并且也不能对后端的应用服务器进行过载保护。 

面对来自部署在云环境中的大量应用的流量，保证来自具有各种资源需求和负载特点的客户的服务等级协议(SLA)需求是具有挑战性的。 

因此，现有技术中需要一种分层次网络系统中能够对网络应用的工作负载进行分布式管理的改进的方法和系统。 

发明内容

由上述可知，现有技术中存在以下缺陷：难以实现服务区分、面向服务的工作负载管理的可扩展性差、系统用于工作负载管理的开销大以及部署复杂。为了解决现有技术中存在的上述问题中的至少一个，而提出了本公开。根据本公开的一个方面的实施例提供了一种利用非常有限的信息来简单但高效地实现工作负载管理优化的分布式工作负载管理方法和系统。 

根据本公开的实施例是在OSI协议栈中的应用层上实现的。根据本公开的一个实施例实现了以下中的至少一个：1)生成最少信息来在所选的前端代理服务器集合和后端资源管理器之间交换；2)应用独特有效的分配算法来分发服务器容量给不同的服务类以实现服务区分和公平；3)优化系统处理以在后端服务器上实现简单逻辑以便容易地进行部署；4)基于到达负载的特征，高效且快速地调整后端服务器的最大容量。 

本公开的实施例可以以包括方法或系统的多种方式实施。下面讨论本公开的几个实施例。