[发明专利]一种集群扩容或缩容后数据自动迁移的方法、装置、设备

权利要求书

1.一种集群扩容或缩容后数据自动迁移的方法，其特征在于，包括如下步骤：

定时检测集群节点状态；

当检测到集群有新的节点增加或有节点退出时，开始收集各个topic的配额文件，产生新的配额文件；从而产生新的数据重分布自动分区方案；

利用新的数据重分布自动分区方案对各个topic分区进行数据迁移重新分布在新的集群中。

2.根据权利要求1所述的一种集群扩容或缩容后数据自动迁移的方法，其特征在于，当检测到集群有新的节点增加或有节点退出时，开始收集各个topic的配额文件，产生新的配额文件，从而产生新的数据重分布自动分区方案的步骤包括：

获取每个topic的分区副本数据分布信息；如果是缩容，分区副本数据又恰好落在缩容节点，则需要进行副本数据迁移，同时记录各个topic分区副本数据落在缩容节点的分区信息；如果是扩容，直接利用新的配额文件直接进行数据迁移不记录分区信息，产生新的数据重分布自动分区方案。

3.根据权利要求2所述的一种集群扩容或缩容后数据自动迁移的方法，其特征在于，记录各个topic分区副本数据落在缩容节点的分区信息的步骤包括：遍历各个topic的分区副本数量；分区副本数量小于topic创建时的设定的分区副本数量时，对该topic的分区信息进行记录。

4.根据权利要求1所述的一种集群扩容或缩容后数据自动迁移的方法，其特征在于，所述的集群包括kafka集群。

5.一种集群扩容或缩容后数据自动迁移的装置，其特征在于，包括定时检测模块、触发模块、收集模块、迁移模块；

定时检测模块，用于定时检测集群节点状态；

触发模块，用于当定时监测模块检测到集群节点发生变化时触发信息到收集模块；

收集模块，用于接收到触发模块的触发信息时开始收集各个topic的配额文件，生成新的配额文件，从而产生新的数据重分布自动分区方案；

迁移模块：用于执行新的数据重分布自动分区方案将数据进行迁移重新平衡到新的集群中。

6.根据权利要求5所述的一种集群扩容或缩容后数据自动迁移的装置，其特征在于，收集模块包括获取单元和自动分区方案生成单元；

获取单元，用于获取每个topic的分区副本数据分布信息；

自动分区方案生成单元，用于产生新的数据重分布自动分区方案；如果是缩容，分区副本数据又恰好落在缩容节点，则需要进行副本数据迁移，同时记录各个topic分区副本数据落在缩容节点的分区信息；如果是扩容，直接利用新的配额文件直接进行数据迁移不记录分区信息。

7.根据权利要求6所述的一种集群扩容或缩容后数据自动迁移的方法，其特征在于，自动分区方案生成单元，还用于遍历各个topic的分区副本数量；分区副本数量小于topic创建时的设定的分区副本数量时，对该topic的分区信息进行记录。

8.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的一种集群扩容或缩容后数据自动迁移的方法。