[发明专利]用于服务器集群处的高能效负载均衡的系统和方法

说明书

背景技术

如今，数据中心消耗了大量的能量，并且这种趋势日益增加。在数据中心中，负载均衡器可放置在一组服务器(有时称为服务器集群)或者其他数据处理单元的前面。负载均衡器可以负责将到来的请求分配给多个服务器。诸如随机或者循环负载分派之类的传统方法以分散的方式将到来的请求分配给活动的服务器。这些请求例如可以寻找数据库环境中的数据，或者例如可以寻找分布式计算环境中的计算资源。在这种情况下，对于每个单独的处理单元而言，请求频繁地自负载均衡器到达，即使统计而言该单元可能大量时间是空闲的。因此，在处理单元可能表现为处于空闲时仍然会消耗能量。当进入和退出低功率状态时存在着延时，例如，由于没有立即进入或退出低功率状态。在该延时时段期间，处理单元不进行任何处理，然而处理单元仍然会消耗比其严格处于低功率(或“休眠”)状态时所消耗的更高的功率。因此，处理单元可能很少有机会进入深度低功率状态。因此，数据中心的功耗会是相当高的。

为了获得可伸缩性以及快速的响应时间，通常需要大量的处理单元(有时称为集群)来处理请求(例如，HTTP请求)。负载均衡器例如可以位于服务器集群的前端，以便执行活动的服务器之间的负载分配。可将负载均衡应用于许多类型的处理单元，例如网络服务器、应用程序服务器以及数据库服务器。

在现代的数据中心中，集群中不是所有的处理单元在所有的时间都可以是活动的。当到来的业务变得繁重时，更多的处理单元会可以被调用；以及当业务轻时，将关闭一些处理单元以节省功率。对于活动的处理单元而言，目标使用率通常远少于100％，以便提供良好的响应时间并为突然的请求突发预留容量空间。在目标使用率为60％的情况下，处理单元将空闲40％的时间。然而，如何随着时间来分配空闲对处理单元能效具有很大的影响。

存在着多种方案来用于在活动的处理单元之间分配到来的请求。通常使用的方案包括：

1)随机分派，其中将请求指派给由负载均衡器随机选择的活动的处理单元。平均而言，负载在处理单元之间均匀地分布。该方案可由各种哈希函数来实现；

2)循环分派，其中负载均衡器以循环为基础将请求指派给活动的处理单元。这使得能够均等地指派处理单元；以及

3)加权循环分派，其中将权重指派给组中的每个处理单元，以便更高容量的处理单元服务更多的请求。例如，负载均衡器可以在将一个请求指派给稍慢的处理单元时，指派两个请求给更快的处理单元。

就能效而言，这些或相关方案的共同缺点是负载均衡器以分散的方式将到来的请求分配给活动的处理单元。在这种情况下，每个单独的处理单元必须处理频繁地来自负载均衡器的请求，即使统计而言其在大量时间是空闲的。因此，处理单元很少有机会进入深度低功率状态。频繁的唤醒使得处理单元从来都不能进入深度休眠状态。

附图说明

图1是根据一个实施方式示出了处理单元集群的拓扑的框图。

图2示出了一个实施方式中的到处理单元的请求的时序和分布。

图3示出了一个实施方式中的批量处理和低功率状态的时序。

图4是示出了一个实施方式的总体操作的流程图。

图5是根据一个实施方式示出了请求的接收和批量的组织的流程图。

图6是根据一个实施方式示出了批量大小的自适应修改的流程图。

图7是示出了一个实施方式的操作的流程图。

图8是示出了软件或固件实施方式的框图。

附图中，附图标记中最左边的数字标识该附图标记首次出现于其中的附图。

具体实施方式

本文讨论了以允许低功率的处理单元周期的方式、在一组处理单元(诸如服务器)之间均衡负载的方法和系统。这允许处理单元的高能效操作。而且，该过程可以适应于系统响应时间的改变，使得当运行条件如此规定时可以改善系统响应时间。

图1示出了一组处理单元120-122(诸如服务器集群)的示例。这些处理单元一起工作以服务到来的请求105。请求105在负载均衡器110处被接收到。然后，负载均衡器以下面描述的方式将请求分配给处理单元。