[发明专利]一种用于K8S微服务框架的自适应带权轮询负载均衡系统

说明书

本发明通过神经网络参数更新领域的方法，实现了一种用于K8S微服务框架的自适应带权轮询负载均衡系统及系统。包括：包括从下到上的服务负载层，服务控制层，用户交互层三层结构，所述服务负载层提供从服务控制层获取到的权重信息，并使用带权轮询算法访问下游服务；所述服务控制层使用算法策略，计算出每组微服务在调用下游服务的时候应该采用的权重配比，并将配比下发至微服务实例中；所述用户交互层提供web交互界面。本发明实现了根据微服务集群内物理资源负载情况、历史服务调用响应时间情况等指标，计算当前状态下每组服务各个实例之间应该接收的请求量的最优权重配比的一种负载均衡系统，解决了传统负载均衡方法凭经验、难以迁移、依赖架构优化的问题。

技术领域

本发明涉及神经网络参数更新技术领域，尤其涉及一种用于K8S微服务框架的自适应带权轮询负载均衡系统。

背景技术

早期的互联网后端服务架构多为单体架构，部署在单机上。这种架构受限于单机性能的瓶颈无法应对日益增加的访问流量，此外随着业务代码量、各模块耦合度的增加，程序代码也变得难以维护。因此后端架构逐渐向分布式、解耦合的方向发展，微服务架构就是一个经受实践的考验后所得到的答案。所谓微服务架构，就是将多模块集成的单体软件解耦成多个模块分别单独部署，各个模块之间通过远网络调用的方式进行通信。这样各个模块单独维护，充分利用分布式集群的能力，大大缓解了访问流量瓶颈的问题。Kubernetes(下称K8S)就是当下应用最为广泛的微服务管理框架。

K8S本质是一个容器编排框架，Pod是K8S管理的基本单位，一个Pod可以包含多个容器，这些容器往往共同协作完成一个业务单元，也就是可将Pod理解为一个基本的服务单元实例。K8S又将多个相同的Pod服务实例抽象成Service资源，也就是所谓的微服务。这样上游服务在调用下游服务的时候，不需要知道服务的具体实例细节，只需要统一向K8S的Service资源请求即可，后续由K8S负责将发往Service的请求转发到具体的Pod实例上。K8S这种设计的模式就可以体现出微服务架构的优势，各个服务实例可以分布式、多副本部署，同时当服务的负载上升后可以通过增加Pod实例副本快速进行扩容。

然而微服务架构也存在有一些问题。由于微服务架构每个服务的逻辑过于基础、轻量，一个完整业务逻辑需要由多个微服务程序实例协作共同完成，这就意味着执行一次请求往往会产生一个调用链甚至调用网，因而会天然地造成业务响应时间的增加，而业务的相应时间会直接影响到用户的体验。因此降低一次业务调用的总响应时间就成为一个有价值的研究点。现有技术主要从容器层面出发，也就是针对服务的实例设计合理的放置策略以及扩缩容策略，让一组服务的每个实例尽可能保持较低负载，进而可以使这组服务持续提供高质量的服务。此外还有一些软件从流量的负载均衡策略出发，为微服务的运维人员提供了修改权重的接口，从而通过降低服务中低质量的容器实例的访问权重，减少上游服务对该负载过高的实例的访问量。

降低服务时延、提高服务质量，有两类可行的思路。一类是从服务实例的角度出发，对于负载高的服务增加它的实例数量，这种方案通常情况下都有不错的效果，但往往不可避免的会造成集群资源的浪费。此外集群物理资源是有成本的，在集群物理资源有限的情形下，实例扩容策略的效果会陷入瓶颈，还会对抢占其他实例的资源。这就引出了提高服务质量的第二类思路，也就是在服务实例数目一定的情况下从负载均衡入手，调整一组微服务实例之间的流量访问权重配比，进而提高服务质量。下面将简要介绍从第二类思路出发的相关现有的技术方案。

在工业界已经有数个比较火热的应用于微服务架构的服务管理系统，例如Istio、Traefik、Kong等。由于微服务架构本身就是从工业界而诞生的概念，因此如何让架构更好地服务于业务产品往往是研究人员所关心的。上述提到的产品有些是开源的有些也有商业化的版本，但无一例外，它们的功能更侧重于针对微服务架构中“服务”这一概念而设计，例如它们都提供了网关鉴权、灰度发布等功能。但对于蕴含在“服务”管理底层的“流量”管理，特别是流量的负载均衡能力仅提供了简单的功能，例如基本的轮询算法，以及通过手动配置权重的带权轮询负载均衡算法。