[发明专利]一种自适应的分布式体系架构

说明书

本发明公开了一种自适应的分布式体系架构，通过自适应地调整指定微服务实例规模的方式，能够应对由于用户需求变更对云服务即保质又要控制成本的要求的挑战。本发明站在分布式集群层级角度观察并发与性能的内在关系，具备良好的模型泛化能力，能广泛应用于不同结构及行为特征的分布式集群中，有效降低IDC运维及研发人员的工作强度。此外，本发明主干算法来自google deepmind团队基于Q Learning的改进，算法不需要出现正确的输入/输出对，也不需要精确校正次优化的行为，更加专注于在线规划，需要在探索(在未知的领域)和遵从(现有知识)之间找到平衡。

技术领域

本发明属于互联网分布式系统技术领域，具体涉及一种自适应的分布式体系架构。

背景技术

随着互联网行业迈入云时代已十余年，各种规模和应用场景的云端分布式服务体系架构正在默默的创造价值，像Google、BATJ等巨头的为某些海量用户应用配置了成千上万的后端服务实例，分布在地球上各个机房中，这无疑增加了运维难度和工作量。当然，为解决此类问题，一直都有新的技术出现，例如针对双11，阿里云通过docker等虚拟化机制，迅速将互联网机房中的资源集中到热门业务上，但要做这类事总是有以下问题需要考虑：

1.什么时候或条件下投入多少资源到哪些业务中？

2.什么时候或条件下可以从哪些业务已占用的资源中回收多少资源转移给当前热门业务？

3.调整的过程是否及时有效？

在一条腿迈入AI时代的今天，这些事情能否不让人来干预了？通过考察目前业界流行的相关服务架构，如图1所示，其中负载均衡、业务路由模块、业务系统、基础服务等模块中，都大量存在相同配置、相同程序在不同实例(可以是实体机、虚拟机或docker环境)上同时运行的情况。这种分布式架构本身具有很强的可用性(其中几个实例离线不会影响到用户)、可扩展性(由于都是相同的配置和程序，方便于在其他实例上部署)、高性能(便于水平扩展即意味着吞吐量的提升很方便)；在这种分布式架构中，可以通过自适应地调整指定微服务实例规模的方式，应对由于用户需求变更对云服务即保质又要控制成本的要求的挑战。但是这种分布式架构也存在着一些问题需要去克服：

(1)目前我们的分布式系统的确有海量历史的性能数据保存下来，但绝大部分数据都是服务正常的数据，少数的故障其原因也是多样的，例如是程序bug导致流程不正常、第三方的故障、上线过程中配置错误等一些无法通过改变系统规模来解决的原因；那些可以通过改变系统规模改进或避免事故的场景，要么无法从历史数据中识别出来，要么是极少数的几例。

(2)IDC运维及研发无法抽出大量时间或及时审查或过滤线上海量性能数据。

发明内容

鉴于上述，本发明提供了一种自适应的分布式体系架构，即通过自适应地调整指定微服务实例规模的方式，能够应对由于用户需求变更对云服务即保质又要控制成本的要求的挑战。

一种自适应的分布式体系架构，包括客户端、业务处理层以及数据持久层；用户通过所述客户端向业务处理层发送服务请求，所述业务处理层包括业务系统以及基础服务系统，业务系统用于对用户发送的请求进行具体的业务处理，基础服务系统用于对基础数据或基础服务提供全局服务，所述数据持久层用于对海量数据提供持久化和及时响应；

所述业务处理层还包括有自适应单元，对于业务系统、基础服务系统或数据持久层中的任一目标服务集群，所述自适应单元实时监控获取该目标服务集群对其负责业务并发量及请求响应时间所体现的性能数据作为特征工程数据，使该目标服务集群处理响应时间占总响应时间的比例作为奖励工程数据，利用特征工程及奖励工程数据通过基于价值的强化学习方法预测出在保证服务质量前提下该目标服务集群下一周期内的最小集群规模，并依此通过调度控制该目标服务集群的规模。