[发明专利]消息系统中分区的分配方法、装置及电子设备

说明书

本发明实施例提供了一种消息系统中分区的分配方法、装置及电子设备，其中，方法可以包括：获得目标待分配分区的分配信息；目标待分配分区是待分配分区中的部分待分配分区；根据目标待分配分区的分配信息，对目标待分配分区进行分配；当目标待分配分区分配完成时，获得剩余待分配分区的分配信息，并根据剩余待分配分区的分配信息，对剩余待分配分区进行分配，直至所有待分配分区均分配完成；其中，剩余待分配分区是待分配分区中未分配的待分配分区。通过本发明实施例提供的消息系统中分区的分配方法、装置及电子设备，能够实现在消息系统Kafka集群发生变化的情况下，对多个分区重新分配。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种消息系统中分区的分配方法、装置及电子设备。

背景技术

Kafka(卡夫卡)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，在互联网公司等都有着极其广泛的应用。Kafka中通过Kafka集群提供消息服务，具体地，Kafka集群可以部署多个节点，以通过节点提供消息服务。

在Kafka中，Topic是一个存储消息的逻辑概念，也可以称之为通道，可以认为是一个消息集合，每条消息发送到Kafka集群的消息都有一个类别。而为了扩展Kafka的吞吐率，物理上把Topic分成一个或多个分区(partition)，每个分区在物理上可以理解为对应一个文件夹，Kafka中通过多个分区存储消息。为了提高Kafka中消息的安全性，一个分区可以有多个副本，这些副本部署在不同的节点上。每个分区的副本中都会有一个作为Leader(领导者)，分区对应的除Leader之外的其他副本作为Follower(追随者)，Follower负责从Leader同步消息，当目前的Leader不可用时，从Follower中选举另一个副本作为新的Leader。Kafka中消息的生产、消费等均是基于Leader进行的，如生产方将消息存储在该Leader中，消费方从该Leader中消费消息。其中，确定分区部署在哪个节点的过程可以理解为对分区的分配过程。

随着业务发展等的需求，Kafka集群的规模有可能会变化，如对Kafka集群进行扩容，即在Kafka集群中增加节点。此时，会产生对多个分区重新分配的需求。

发明内容

本发明实施例的目的在于提供一种消息系统中分区的分配方法、装置及电子设备，以实现在Kafka集群发生变化的情况下，对多个分区重新分配。具体技术方案如下：

第一方面，本发明实施例提供了一种消息系统中分区的分配方法，包括：

获得目标待分配分区的分配信息，所述目标待分配分区的分配信息用于指示所述目标待分配分区与所述消息系统中节点的对应关系；所述目标待分配分区是待分配分区中的部分待分配分区；

根据所述目标待分配分区的分配信息，对所述目标待分配分区进行分配；

当所述目标待分配分区分配完成时，获得剩余待分配分区的分配信息，并根据所述剩余待分配分区的分配信息，对所述剩余待分配分区进行分配，直至所有待分配分区均分配完成；其中，所述剩余待分配分区是所述待分配分区中未分配的待分配分区。

可选的，在所述获得目标待分配分区的分配信息之前，所述方法还包括：

获得节点相关信息，以及所述待分配分区的分区信息；其中，所述节点相关信息是与所述消息系统中节点相关的信息；

根据所述节点相关信息和所述分区信息，生成所述目标待分配分区的分配信息。

可选的，所述目标待分配分区是待分配分区中的一个待分配分区；

所述剩余待分配分区是所述待分配分区中未分配的一个待分配分区。

可选的，所述根据所述目标待分配分区的分配信息，对所述目标待分配分区进行分配，包括：