[发明专利]一种动态扩容的方法及终端

说明书

本发明提供了一种动态扩容的方法及终端，创建逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并建立所述第二物理主题与所述逻辑主题的第二映射关系；根据所述第一映射关系及所述第二映射关系进行目标消息的写入或读取；本发明通过建立逻辑主题作为kafka对外进行消息写入和读取的接口，建立逻辑主题与已有的物理主题之间的映射关系，因物理主题不直接供给客户使用，在增加物理主题时无需进行数据迁移，用户能够正常通过逻辑主题获取消息，避免扩容对使用的影响。

技术领域

本发明涉及分布式存储领域，尤其涉及一种动态扩容的方法及终端。

背景技术

kafka是一种常用的高吞吐量的分布式发布订阅消息系统，具有如下特性：1.通过O(1)的磁盘数据结构提供消息的持久化，这种结构能够在数以TB(万亿字节)计的消息存储中保持长时间的稳定性能；2.高吞吐量：即使是非常普通的硬件配置，在使用kafka后也可以支持每秒数十万的消息；3.支持通过kafka服务器和消费机集群来分区消息；4.支持Hadoop并行数据加载。

由于kafka有较多的优点且使用方便，很多高并发高吞吐的系统都采用其作为消息中间件；但是，随着消息数量的急遽增大，先前建立的kafka可能存在达到上限的问题，此时就需要针对kafka集群进行扩容，kafka中消息的写入以及消费都是针对主题(topic)来进行的，消息通过topic来进行写入与读取，而实际消息则是记录在各个分区(partition)中，一个topic可关联一个或者多个的partition；现有技术中，kafka集群的扩容操作包括以下几个步骤：1.新增kafka节点，并添加节点至kafka集群中；2.修改集群中topic对应的partition数量；3.执行数据迁移操作，由原先topic对应的partition中的数据迁移至新的partition中；4.完成扩容操作。

但是，在上述的kafka扩容过程中，kafka集群的使用方会受到影响，因为上述kafka扩容过程会导致kafka无法提供服务或者卡顿，影响使用kafka的业务的正常服务，进一步影响消费者正常消费相关数据。

发明内容

本发明所要解决的技术问题是：提供一种动态扩容的方法及终端，在kafka扩容过程中不会对kafka业务造成影响。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种动态扩容的方法，包括步骤：

S1、创建逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；

S2、接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并建立所述第二物理主题与所述逻辑主题的第二映射关系；

S3、根据所述第一映射关系及所述第二映射关系进行目标消息的写入或读取。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种动态扩容的终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、创建逻辑主题，并建立所述逻辑主题与kafka中的第一物理主题的第一映射关系；

S2、接收扩容信息，根据所述扩容信息在kafka中建立第二物理主题并建立所述第二物理主题与所述逻辑主题的第二映射关系；

S3、根据所述第一映射关系及所述第二映射关系进行目标消息的写入或读取。