[发明专利]一种集群扩容或缩容后数据自动迁移的方法、装置、设备

说明书

本发明提供一种集群扩容或缩容后数据自动迁移的方法、装置、设备，所述方法包括如下步骤：定时检测集群节点状态；当检测到集群有新的节点增加或有节点退出时，开始收集各个topic的配额文件，产生新的配额文件；从而产生新的数据重分布自动分区方案；利用新的自动分区方案对各个topic分区进行数据迁移重新分布在新的集群中。解决kafka集群扩容或缩容后，实现数据快速迁移的目的，做到不影响客户正常使用的情况下，快速迁移；此过程可以减少管理员的手动维护工作。

技术领域

本发明涉及集群数据迁移技术领域，具体涉及一种集群扩容或缩容后数据自动迁移的方法、装置、设备。

背景技术

Kafka的使用场景非常广泛，而在分布式应用场景中，数据迁移是一个比较常见的问题，集群中新增了一个Broker节点，此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中，缓解集群压力；然而kafka集群在新增节点后并不自动将数据reblance到整个新集群中，这个过程需要我们手动分配。数据迁移不能做到实时性扩容后在不影响客户端使用的情况下立即迁移，虽然kafka提供了分区重新分配工具，还是需要管理员在操作的时候，必须弄清楚哪些topic或分区可以迁移，然而这些对管理员的手动维护提出了很大的挑战。

发明内容

针对kafka集群在新增节点后并不自动将数据reblance到整个新集群中，这个过程需要我们手动分配的问题，本发明提供一种集群扩容或缩容后数据自动迁移的方法、装置、设备。

本发明的技术方案是：

第一方面，本发明技术方案提供一种集群扩容或缩容后数据自动迁移的方法，包括如下步骤：

定时检测集群节点状态；

当检测到集群有新的节点增加或有节点退出时，开始收集各个topic的配额文件，产生新的配额文件，从而产生新的数据重分布自动分区方案；

利用新的数据重分布自动分区方案对各个topic分区进行数据迁移重新分布在新的集群中。按新的配额文件自动将数据进行迁移重新平衡到整个新的集群中。解决kafka集群扩容或缩容后，实现数据快速迁移的目的，做到不影响客户正常使用的情况下，快速迁移；此过程可以减少管理员的手动维护工作。

进一步的，当检测到集群有新的节点增加或有节点退出时，开始收集各个topic的配额文件，产生新的配额文件，从而产生新的数据重分布自动分区方案的步骤包括：

获取每个topic的分区副本数据分布信息；如果是缩容，分区副本数据又恰好落在缩容节点，则需要进行副本数据迁移，同时记录各个topic分区副本数据落在缩容节点的分区信息；如果是扩容，直接利用新的配额文件直接进行数据迁移不记录分区信息，产生新的数据重分布自动分区方案。

通过zookeeper节点感知集群发生变化，获取zookeeper中的broker ID，结合配额文件，产生新的配额文件；如果是扩容，则直接利用新的配额文件直接生成新的数据重分布自动分区方案，如果是缩容，则利用存储模块获取的topic直接对分区副本数少的分区进行调整。

进一步的，记录各个topic分区副本数据落在缩容节点的分区信息的步骤包括：遍历各个topic的分区副本数量；分区副本数量小于topic创建时的设定的分区副本数量时，对该topic的分区信息进行记录。

进一步的，所述的集群包括kafka集群。

另一方面，本发明技术方案还提供一种集群扩容或缩容后数据自动迁移的装置，包括定时检测模块、触发模块、收集模块、迁移模块；

定时检测模块，用于定时检测集群节点状态；

触发模块，用于当定时监测模块检测到集群节点发生变化时触发信息到收集模块；