[发明专利]分布式系统及该分布式系统的扩容方法

说明书

技术领域

本发明涉及IT(互联网技术，Internet Technology，简称IT)和CT(电信网技术，Community Technology，简称CT)领域，特别涉及一种分布式系统及该分布式系统的扩容方法。

背景技术

分布式系统是建立在网络之上的软件系统，具有高度的内聚性和透明性，使得每一个数据库的分布节点高度自治，且每一个数据库的分布节点对用户的应用来说都是透明的，看不出是本地还是远程，所以分布式系统的出现解决了大规模计算和并行计算的问题，受到广大用户的青睐。

目前，常见的分布式系统的架构一般采用主从方式，即主节点负责接收和分发任务，多个从节点(也叫计算节点)执行具体的任务。主节点只做分发，不会成为系统瓶颈；而执行任务的从节点往往会随着计算量的增加和资源利用率的上升成为瓶颈。这时就需要对分布式系统进行扩容，常见的扩容方法就是采用手动方式增加一个或多个计算节点，此种扩容方法虽然具有一定的效果，但是扩容粒度较粗，且效率较低。

发明内容

基于此，本发明的目的在于提出一种具有高效率的分布式系统及该分布式体统的扩容方法，所述扩容方法优化了所述分布式系统的扩容过程，以更精确的方式对扩容过程中所需资源进行按需分配，实现扩容过程的自动化。

本发明提供一种分布式系统的扩容方法，所述分布式系统包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，进一步包括缓存节点及观测者，所述扩容方法包括：

所述缓存节点记录分配给每个所述计算节点的队列阻塞信息，并传送给所述观测者；

所述主节点接收每个所述计算节点定期上报的自身的资源利用率信息，并传送给所述观测者；

所述观测者收集所述队列阻塞信息、所述资源利用率信息，并判断每个所述计算节点是否超过自身预设的吞吐量阀值，若未超过，则以增加线程的方式对每个所述计算节点的内部进行第一次扩容。

所述分布式系统的扩容方法，其中，所述分布式系统还包括资源管理系统，若每个所述计算节点都超过自身预设的吞吐量阀值，则判断所述计算节点是否超过预设的资源利用率阀值，若超过，则所述资源管理系统分配所需的硬件资源和软件镜像，以增加新的计算节点的方式进行第二次扩容。

所述分布式系统的扩容方法，其中，所述第一次扩容包括：

所述观测者接收所述主节点主动发出的扩容申请，并发出第一次扩容命令；

所述计算节点接收所述第一次扩容命令，计算所需增加的线程数量并传送给所述主节点；

所述观测者接收所述主节点传送的所述线程数量，并判断所述线程数量是否超过预设的上限值，若未超过，则所述计算节点根据所需增加的所述线程数量进行扩容，若超过，则对另外的所述计算节点以增加线程的方式进行扩容。

所述分布式系统的扩容方法，其中，所述第二次扩容包括：

所述观测者计算需增加的新的计算节点的数量及所述新的计算节点所需的硬件资源和加载运行软件映像，并发送第二次扩容命令给所述资源分配系统；

所述资源分配系统接收所述第二次扩容命令，分配所需的硬件资源和加载运行软件映像，并通过容器方式启动所述新的计算节点；

所述新的计算节点完成启动后，向所述缓存节点申请消息缓存并接收所述缓存节点完成的分配结果，同时向所述主节点发出加入请求；

所述主节点接收加入请求后发布新的计算任务，完成第二次扩容。

所述分布式系统的扩容方法，其中，

当所述资源分配系统包括基础设施服务系统和容器集群管理系统时，所述观测者需先向所述基础设施服务系统申请新的计算节点所需的硬件资源，再向所述容器集群管理系统申请新的计算节点所需的软件镜像，所述容器集群管理系统通过容器方式启动新的计算节点；

当所述资源分配系统为平台服务系统时，所述观测者向所述平台服务系统申请新的计算节点所需的硬件资源及软件镜像，所述平台服务系统通过容器方式启动新的计算节点。

相较现有技术，本发明所述扩容方法中，先对每个所述计算节点的自身进行扩容，当所有的所述计算节点的自身完成扩容的数量大于预设的数量阀值时，所述资源分配系统按所需的硬件资源和加载运行软件映像来增加新的所述计算节点进行扩容，所以所述扩容方法优化了所述分布式系统的扩容过程，实现了扩容的自动化，提升了扩容的效率。

一种分布式系统，包括主节点，多个计算节点，所述主节点负责接收和分配任务，所述计算节点执行所述主节点分配的对应的任务，进一步包括缓存节点及观测者；