[发明专利]一种Kafka中新增topic的消费数据自动持久化方法

说明书

本发明公开了一种Kafka中新增topic的消费数据自动持久化方法，在管理页面提供新增/删除topic对应的数据库存储表的功能，实现topic及其对应的数据库存储表的灵活控制；新增topic的Consumer在消费该topic中的消息时，可以自动将消费数据保存至数据库对应的存储表中。

技术领域

本发明涉及Kafka持久化技术领域，具体是一种Kafka中新增topic的消费数据自动持久化方法。

背景技术

Kafka是一种支持分布式消息存储和消费系统，其构架如图1所示。Kafka Cluster(集群)包含多个服务器，服务器节点称为Broker。Kafka以topic(类别)作为基础逻辑单元对消息进行存储、消费等操作。为了线性提高吞吐率，Kafka在物理上将topic分成多个Partition(分区)，每个Partition通过创建一定数目的副本并分散存储在不同Broker上以支持容错。Kafka通过集成分布式协调服务ZooKeeper实现元数据存储以及集群管理等功能，从而支持集群的动态水平扩展。基于Kafka的消息定发布订阅服务系统，注册通过的发布方创建topic，订阅方订阅该topic，发布方往该topic中发布消息。

现有的Kafka数据持久化，是在项目配置文件中预先设定topic列表，并在数据库中创建好对应的存储表。Producer向列表中的某一topic中发布消息后，Consumer消费该消息的消费数据能够保存到对应的存储表中。

针对新增的topic，只能人工修改项目配置文件并创建存储表，才能使得Consumer消费该topic中消息的消费数据得以保存到对应的存储表中，即不能灵活控制topic及其对应的数据库存储表。

发明内容

针对现有Kafka持久化技术不能自动对新增topic进行持久化的技术缺陷，本发明提供一种Kafka中新增topic的消费数据自动持久化方法。

本发明保护一种Kafka中新增topic的消费数据自动持久化方法，包括以下步骤：

步骤1，人工在Kafka服务后台提供的管理页面上创建表及配置表中字段；

步骤2，Kafka服务后台根据管理页面上填写的表名向Kafka集群发布topic创建指令；

步骤3，Kafka集群根据topic创建指令创建topic，数据库中自动生成对应存储表；

步骤4，Kafka服务后台针对新增topic创建对应的Consumer；

步骤5，当Kafka服务后台接收归属于该新增topic的消息时，根据消息来源创建对应的Producer，并将消息发布到其该新增topic中；

步骤6，该新增topic的Consumer监听到消息后，消费消息，产生消费数据；

步骤7，Kafka服务后台保存该消费数据，并将其存储到该新增topic对应的存储表中。

优选的，管理页面提供除提供创建topic、创建表及配置表中字段的接口外，还提供删除topic及其对应数据库存储表的接口。

本发明还保护一种基于上述Kafka中新增topic的消费数据自动持久化方法的消息定发布订阅服务系统。

本发明在管理页面提供新增/删除topic对应的数据库存储表的功能，实现topic及其对应的数据库存储表的灵活控制；新增topic的Consumer在消费该topic中的消息时，可以自动将消费数据保存至数据库对应的存储表中。

附图说明

图1为Kafka中新增topic的消费数据自动持久化方法流程图。

具体实施方式