[发明专利]自动化扩容缩容的控制方法、装置、存储介质及处理器

说明书

本发明公开了一种自动化扩容缩容的控制方法，周期性监测消息队列中间件中的总消息数和消息生产者的消息发布速率、以及每个消息消费者的消息消费速率，当当前总消息数大于预设最大消息数阈值时触发预设分布式应用扩容机制，并当当前总消息数小于预设最小消息数阈值时触发预设分布式应用缩容机制。自动化实现分布式应用的扩容缩容控制，及时监测到消息队列中间件负载较高的状态和负载较低的状态，在负载较高时合理扩容，并在负载较低时合理缩容，提高分布式集群资源的利用率。

技术领域

本发明涉及数据处理技术领域，更具体的，涉及一种自动化扩容缩容的控制方法、装置、存储介质及处理器。

背景技术

分布式应用会使用一种以消息队列为消息中间件的架构，此种架构之下，如果消息生产的速率大于消息消费的速率时，数据便会积压在消息队列中间件中，此时会对消息队列中间件产生负载压力，不稳定的中间件会出现崩溃、丢数据等情况。

传统的解决方案一般为软件开发人员手动启动一个或多个分布式应用的副本，从而增加消息队列中间件的消息消费速率，使得消息消费速率大于消息生产速率，从而使尽量少的消息积压在消息队列中间件中，减少其负载压力。

而传统的方案往往出现的问题就是一旦发现队列中数据有积压时，很可能数据已经有大量的积压，且开发人员未必能对分布式应用消费速率有一个很准确的判断，而导致多启动一些分布式应用的副本从而导致对整个分布式集群的资源的浪费。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种自动化扩容缩容的控制方法、装置、存储介质及处理器。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种自动化扩容缩容的控制方法，包括：

监测消息生产者发布到消息队列中间件中的总消息数、消息生产者发布消息的速率、以及每个消息消费者对消息队列中间件中消息的消费速率；

判断消息生产者发布到消息队列中间件中的总消息数是否大于预设最大消息数阈值；

若大于，根据消息生产者发布消息的速率和每个消息消费者对消息队列中间件中消息的消费速率，启动相应数量的消息消费者，使启动的消息消费者对消息队列中间件中的消息进行消费。

可选的，所述根据消息生产者发布消息的速率和每个消息消费者对消息队列中间件中消息的消费速率，启动相应数量的消息消费者，使启动的消息消费者对消息队列中间件中的消息进行消费，包括：

当所有消息消费者的消费速率的和值为预设最大消费速率时，根据消息生产者发布消息的速率、总消息数、以及预设最大消费速率，判断消息生产者发布到消息队列中间件中的总消息是否能在预设时间内消费完毕；

若能消费完毕，基于消息生产者发布消息的速率、总消息数、以及每个消费者对消息队列中间件中消息的消费速率，计算消息生产者发布到消息队列中间件中的总消息能在预设时间内消费完毕时所需启动的消息消费者的数量，并启动相应数量的消息消费者；

若不能消费完毕，依据预设最大消费速率和每个消费者对消息队列中间件中消息的消费速率，计算使扩容后所有消息消费者的消费速率的和值大于所述预设最大消费速率时所需启动的最小消息消费者数，并启动所述最小消息消费者数的消息消费者。

可选的，所述当所有消息消费者的消费速率的和值为预设最大消费速率时，判断消息生产者发布到消息队列中间件中的总消息是否能在预设时间内消费完毕，包括：

判断消息生产者发布消息的速率是否大于所述预设最大消费速率；

若大于，判定当所有消息消费者的消费速率的和值为预设最大消费速率时，消息生产者发布到消息队列中间件中的总消息不能在预设时间内消费完毕；