[发明专利]分布式请求选路

说明书

技术领域

本发明大体而言涉及负载平衡。更具体而言，本发明涉及用于在复数个服务器之间平衡请求以供处理的请求选路方法。

背景技术

客户机-服务器应用程序正越来越多地跨多个服务器部署。这些服务器既可驻留于也可不驻留于不同的地理位置处，且共同为特定应用程序提供后端处理能力。例如，所述服务器可支持一内容递送网络，例如高速缓存网页并响应于来自客户机网络浏览器的请求的地理分布式网络高速缓冲存储器代理器。所述服务器也可为一部署在因特网上的GRID设施的通用计算机器(PC、工作站、...)，其中每一服务器均接收并处理由所述GRID客户机-用户所提交的任务。所述服务器也可为数据库服务器，例如共享磁盘或共享存储器并行数据库服务器或复制数据库服务器。同样地，对等应用程序也正跨多个计算机器部署，其中一组对等物中间的任一给定对等物均处理一来自另一对等物/服务器的请求(应注意，为了易于说明，将使用客户机-服务器术语及实例来阐述本发明。不过，应了解，本发明同样适用于包括对等架构在内的其他架构/应用程序)。

出于说明目的，假定具有m个旨在为一特定应用程序处理请求/任务的服务器(编号为0，1，...，m-1)及可将请求/任务发送至这些服务器的任意数量的客户机。传统上，在这些多服务器环境下，所述m个服务器中间最初接收到一给定客户机请求的服务器服务于所述请求并将结果发送回至所述客户机。但是，这些多重服务器环境正越来越多地使用请求选路来服务于客户机请求。根据请求选路，实际接收一客户机请求的服务器将使用某一方案来确定所述m个服务器中的另一服务器并随后将所述请求转发至此所确定的服务器进行处理。例如，图1显示一由服务器102-105及将请求/任务发送至这些服务器以供处理的客户机110-115构成的实例性网络100。假定客户机112将一请求120发送至服务器103(对服务器103的选择可为一随机选择也可为一预定选择)。一旦接收到此请求，服务器103便执行一请求选路方案以确定另一服务器(例如服务器105)来实际服务于所述请求。然后，服务器103将来自客户机112的请求120转发至该服务器105。然后，服务器105处理此请求并将结果121回送至服务器103，然后服务器103将所述结果转发至客户机112。

在这些多重服务器环境中，管理员将请求选路方案用于不同的目的，例如用于将一请求选路至更有可能具有所述客户机正在寻找的内容信息的服务器、根据与所述客户机的接近度来将所述请求选路至服务器/网络、根据带宽可用性来对请求进行选路及对一请求进行选路以在各服务器中间平衡负载。在此处特别关注后一种用途一负载平衡。更具体而言，假定存在一由m个服务器构成的支持任意数量客户机的多重服务器环境，对请求选路的越来越多的应用是将客户机请求分布于各服务器中间以达到较佳的性能可按比例缩放性。负载平衡请求选路方案确保所述m个服务器中的每一个处的负载随所述客户机请求到达率的提高及降低而一致地增大及收缩，从而确保总响应时间(例如网页下载时间、任务完成时间)变短、通量增大及对客户机请求的可用性的提高。尽管如此，可随客户机请求率及/或服务器数量的增加而按比例缩放并在分布式服务器中间达到平衡负载的负载平衡请求选路方案仍因整个系统的动态性质及因不可预测的任务到达模式及任务大小而难以获得。

过去已使用几种请求选路方案/方法来实现负载平衡，其包括：(1)“最低负载”方案/方法，(2)“两个随机选择”方案/方法，(3)“随机”方案/方法，及(4)“循环”方案/方法。所述“最低负载”请求选路方法取决于一在接收到一客户机请求时知晓所有服务器的负载的服务器。具体而言，此方法通常以一分散或集中方式来实施。根据所述分散式实施方案，所述m个服务器中的任何一个均可最初接收一客户机请求。当一服务器接收到一请求时，其从所述一组m个服务器中确定当前具有最低负载的服务器并随后将所述请求选路/转发至所述服务器以供处理。根据所述集中式实施方案，使用一调度器。此调度器首先接收任一给定客户机请求并随后将所述请求转发至当前负载最低的服务器。

不管为何种实施方案，在所述调度器/初始服务器接收并转发一请求的情况下知晓所有其他服务器的负载时，“最低负载”方法均将负载最佳地分布于所述各服务器中间。在这些条件下，最低负载方法能够在各服务器中间平衡负载并可按比例缩放，对客户机请求的总响应时间随所述客户机请求率的提高而缓慢增加。但是，如果这些理想条件得不到满足且所述服务器处的当前负载信息不准确(即变得陈旧)，则所述负载平衡会变得较不准确，从而使对客户机请求的平均响应时间急剧增加。