[发明专利]消息处理系统、方法、电子设备及存储介质

说明书

本发明实施例提供了一种消息处理系统、方法、电子设备及存储介质，其中，消息处理系统，包括：生产集群，用于接收生产端发送的数据；消费集群，用于接收从生产集群中同步至消费集群的数据，以使消费端从消费集群中读取数据。通过本发明实施例提供的消息处理系统、方法、电子设备及存储介质，能够降低针对生产端的消息服务和针对消费端的消息服务之间的关联，提高消息服务的可用性。

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种消息处理系统、方法、电子设备及存储介质。

背景技术

Kafka(卡夫卡)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，在互联网公司等都有着极其广泛的应用。

现有技术中，如图1所示，生产端与集群交互，以实现将数据保存在该集群中，同时，消费端与同一集群交互，以实现从集群中读取数据，如业务1对应的消费端1、业务2对应的消费端2，业务3对应的消费端3，等等均与集群交互。且Kafka支持广播模式，即支持一份数据多次被消费的场景，如此会存在大量相同数据，同时被众多消费端消费的情况，随着业务不断增加，会导致集群的负载不断变大进而到达集群的容量上限，甚至会超过集群负载而使得集群不可用。现有技术中，数据的生产和消费全部在同一个集群完成，即生产端和消费端均与同一个集群交互，集群的负载过大甚至不可用等会使得针对生产端和消费端的消息服务均受到影响，如此会使得消息服务的可用性受影响。

发明内容

本发明实施例的目的在于提供一种消息处理系统、方法、电子设备及存储介质，以降低针对生产端的消息服务和针对消费端的消息服务之间的关联，提高消息服务的可用性。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种消息处理系统，包括：

生产集群，用于接收生产端发送的数据；

消费集群，用于接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。

一种可选的实施例中，所述消费集群包括多个业务子集群；

针对各个业务子集群，所述业务子集群，用于接收业务关联数据，以使业务对应的消费端从所述业务子集群中读取所述业务关联数据，所述业务关联数据是从所述生产集群中同步至所述业务子集群的、与所述业务相关联的数据。

一种可选的实施例中，所述消费集群包括新增业务子集群；

所述新增业务子集群，用于接收新增业务关联数据，以使新增业务对应的消费端从所述新增业务子集群中读取所述新增业务关联数据，所述新增业务子集群是当针对所述新增业务对所述消息处理系统进行扩容时，在所述消费集群中添加的业务子集群；所述新增业务关联数据是从所述生产集群中同步至所述新增业务子集群，与所述新增业务相关联的数据。

一种可选的实施例中，所述消息处理系统还包括同步器，所述同步器，用于通过流处理方式，将所述生产集群中的数据同步至所述消费集群。

在本发明实施的第二方面，还提供了一种消息处理方法，应用于包括生产集群和消费集群的消息处理系统，所述方法包括：

所述生产集群接收生产端发送的数据；

所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据。

一种可选的实施例中，所述消费集群包括多个业务子集群；

针对各个业务子集群，所述消费集群接收从所述生产集群中同步至所述消费集群的所述数据，以使消费端从所述消费集群中读取所述数据，包括：

所述业务子集群，接收从所述生产集群中同步至所述业务子集群的业务关联数据，以使业务对应的消费端从所述业务子集群中读取所述业务关联数据；其中，所述业务关联数据是所述数据中与所述业务相关联的数据。