[发明专利]一种基于服务端处理能力的负载均衡算法的服务网关

说明书

本发明涉及信息技术领域，提供了一种基于服务端处理能力的负载均衡算法的服务网关。本发明的目的在于解决在高并发的场景下，网关将部分请求转发给当前负载已经很高的节点进行处理，从而导致交易处理失败的问题。主要方案包括，在服务端节点上启动一个独立线程，该线程针对应用自身进行评估，并得到一个反应其服务节点状态的负载值X，负载值X为介于[0%,100%]的值，值越大表示应用本身的压力越大，接近100%时表示无法再处理更多的请求；将负载值X通过健康探测协议传递给网关，从而让网关准确得知服务节点实际的负载值；对新的请求，网关根据最新的各节点的负载值，选择将请求转发给负载最低的节点。

技术领域

本发明涉及信息技术领域，提供了一种基于服务端处理能力的负载均衡算法的服务网关。

背景技术

传统的负载均衡算法：

以服务端有AB两个节点为例，传统的服务网关中常见的负载均衡算法有如下几种：

轮询算法：网关将接收的请求均衡的转发给两台机器。比如，第n个请求转发给A节点处理，第n+1个请求转发给B节点处理，第n+2个请求转发给A处理。

基于请求规则负载：根据请求报文中某一字段的规则进行负载转发。例如，根据请求报文中的流水号字段进行负载，尾数为基数的转发给A节点处理，尾数为偶数的转发给B节点处理。

基于特定比例的负载：基于固定的比例将请求数量分发给服务端。例如将80%请求转发给A节点。剩余的20%转发给B节点

最小连接数算法：将任务分配给此时具有最小连接数的节点，一个节点收到一个任务后连接数就会加1，处理完成后连接数-1。网关收到新的请求后将任务转发给当前年结算最小的节点。

传统方法的不足：

一般我们将轮询算法、基于规则负载、特定比例负载称之为静态算法，即其完全根据设定的规则进行请求的负载转发，不关心服务端的实际处理情况。最小连接数算法我们称之为动态算法，其会根据实际的连接数情况来动态决定请求的转发地址。

但是，即使是最小连接数算法也并不能准确表达服务端当前的处理能力。一个很典型的场景就是：在A节点的机器配置明显好于B节点时，A节点能够处理的请求数要远远大于B节点。比如A节点能同时处理100个请求，B节点只能处理50个。那么当AB节点的连接数都达到50时，基于最小连接数的算法依然会将请求转发给B，这样就会导致这部分交易失败。

综上所述，传统的网关无论采用以上的何种算法，均不会充分考虑服务端节点的实际处理能力和当前的负载压力。因此在高并发的场景下，网关必然会将部分请求转发给当前负载已经很高的节点进行处理，从而导致交易处理失败。

很显然这样的场景这对于银行等金融行业来说成本和代价也是过于高昂的。因此我们一般会通过提高单节点的配置或者增加更多的服务节点来分流。但是这样的话又显得冗余而且照成了不必要的浪费。

发明内容

本发明的目的在于解决传统的网关无论采用以上的何种算法，均不会充分考虑服务端节点的实际处理能力和当前的负载压力。因此在高并发的场景下，网关必然会将部分请求转发给当前负载已经很高的节点进行处理，从而导致交易处理失败的问题。

为解决上述技术问题，本发明采用以下技术方案：

一种基于服务端负载的实时负载能力进行流量转发的方法，包括以下步骤：

步骤1：在服务端节点上启动一个独立线程，该线程针对应用自身进行评估，并得到一个反应其服务节点状态的负载值X，负载X为介于[0%,100%]的值，值越大表示应用本身的压力越大，接近100%时表示无法再处理更多的请求；

步骤2：将负载X通过健康探测协议传递给网关，从而让网关准确得知服务节点实际的负载值；