[发明专利]一种资源调整策略确定方法和装置

说明书

本申请实施例提供了一种资源调整策略确定方法和装置，方法包括：确定目标消费任务在目标集群中对应的分区，作为目标分区；针对预设的每一统计周期，确定该统计周期内目标分区中目标消费任务最后处理的消息的偏移量，作为处理偏移量；计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；计算偏移量差值与该统计周期的时长的比值，作为该统计周期内目标消费任务处理消息的消息处理速度；基于消息处理速度，确定用于调整目标消费任务所占用的资源的资源调整策略，进而，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。

技术领域

本申请涉及网络技术领域，特别是涉及一种资源调整策略确定方法和装置。

背景技术

消息中间件是基于队列与消息传递，在网络中提供同步或异步、可靠的消息传输的支撑性软件系统。例如，Kafka(卡夫卡)集群是一种支持分区和多副本的消息中间件，且支持基于Zookeeper协调的分布式消息系统，其可以运行在一台或者多台服务器上，并基于主题(Topic)对存储的数据进行分类。

Kafka集群的节点(Broker)可以以消息队列的方式存储消息，一个消息队列对应主题的一个分区(Partition)。生产者可以将消息发送至分区中，相应的，消费者则可以从分区中获取消息进行处理。

在实际应用中，针对Kafka集群，可以开启多个消费任务，并为每一消费任务分配资源(例如，内存，CPU)，每一消费任务对应一个主题的所有分区，也就是说，该消费任务可以基于分配的资源从对应的主题的分区中获取消息，并进行处理。

发明内容

本申请实施例的目的在于提供一种资源调整策略确定方法和装置，能够有效地调整目标消费任务所占用的资源，以提高资源利用率和消息处理效率。具体技术方案如下：

第一方面，为了达到上述目的，本申请实施公开了一种资源调整策略确定方法，所述方法包括：

确定目标消费任务在目标集群中对应的分区，作为目标分区；

针对预设的每一统计周期，确定该统计周期内所述目标分区中所述目标消费任务最后处理的消息的偏移量，作为处理偏移量；

计算该统计周期的处理偏移量与前一统计周期的处理偏移量之间的差值，作为偏移量差值；

计算所述偏移量差值与该统计周期的时长的比值，作为该统计周期内所述目标消费任务处理消息的消息处理速度；

基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略。

可选的，在基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略之前，所述方法还包括：

获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量；

所述基于所述消息处理速度，确定用于调整所述目标消费任务所占用的资源的资源调整策略，包括：

基于所述处理偏移量、所述写入偏移量和所述消息处理速度，计算当前统计周期内所述目标消费任务的平衡时延，其中，一个统计周期内的平衡时延表示：基于该统计周期内所述目标分区的消息写入速度和消息处理速度，所述目标消费任务达到处理瓶颈的时长；

如果当前统计周期内的平衡时延为0，且当前统计周期之前的第一历史时间段内所述目标消费任务提交的消息的偏移量不变，则确定基于第一资源调整策略调整所述目标消费任务所占用的资源，其中，所述第一资源调整策略包括：按照第一预设比值释放已为所述目标消费任务分配的资源。

可选的，在获取该统计周期内所述目标分区中最后写入的消息的偏移量，作为写入偏移量之后，所述方法还包括：