[发明专利]一种业务数据交互方法、装置及系统

说明书

一种业务数据交互方法、装置及系统，在该系统中包括Kafka集群、第一业务系统和第二业务系统，第一业务系统获取第一业务系统与第二业务系统之间共享的键值对，依据键值对以及Kafka集群的分区机制确定目标分区，并将业务数据发布至目标分区。Kafka集群将业务数据存储至目标分区，并接收第二业务系统发送的键值对，依据键值对以及Kafka集群的分区机制确定目标分区，并在目标分区内获取业务数据，将业务数据发送至第二业务系统。第二业务系统接收Kafka集群发送的业务数据。通过本发明可以降低业务系统交互过程的复杂度以及开销。

技术领域

本发明涉及通信技术领域，尤其涉及一种业务数据交互方法、装置及系统。

背景技术

Kafka作为一种开源的消息中间件，广泛运用在分布式系统中用于业务数据的交互。

基于Kafka的业务数据交互系统主要包括消息生产者(Producer)、服务器(Broker)组成的Kafka集群和消息消费者(Consumer)。消息生产者发布消息到Kafka集群，并且每个发布到Kafka集群的消息都有一个类别，这个类别可称为主题(topic)。每个topic包含一个或多个分区(partition)，每个partition由一系列有序、不可变的消息组成。Kafka集群以topic管理消息，将消息生产者发布的消息连续追加到partition中，partition中的每个消息都被分配一个连续的序号，这个序号可称为偏移量(offset)，offset可用于partition唯一标识一个消息。Kafka集群将消息发送给消息消费者，消息消费者对消息进行处理。

基于Kafka的业务数据交互系统通常采用发布/订阅模式进行业务数据的交互。在发布/订阅模式下，需要建立多个发布者和订阅者，其中，发布者和订阅者均包含消息生产者和消息消费者，都具有向Kafka集群发布和从Kafka集群获取消息的能力。发布者向某个topic发布消息，订阅者则向Kafka集群订阅并获取某个topic下的消息。其中，topic可以理解为是Kafka集群维护的按照不同分类进行区分的消息流。每个发布者需要维护消息流标识与外部消息流映射关系的消息流标识哈希表，每个订阅者也需要维护消息流标识与发布者标识之间映射关系的发布者标识哈希表，以及发布者标识与订阅者主题之间映射关系的发布者主题哈希表，且发布者、发布者标识及发布者主题具有一一对应关系且全局唯一。发布者发布消息或者订阅者订阅获取消息时，经过外部配置文件全文检索、映射关系哈希表初始化、消息标识的全库检索匹配、消息体的内容拼接等多个必需处理过程，实现消息的订阅与发布。

然而，采用上述方式进行大规模异构类数据的传输处理中，发布者和订阅者需要维护的映射关系哈希表内容复杂程度较高，并且读取外部配置文件、映射关系表初始化、全库检索映射关系哈希表的过程，需要复杂的计算处理过程，系统消耗较大。

发明内容

本发明实施例提供一种业务数据交互方法、装置及系统，以降低业务系统交互过程的复杂度以及开销。

第一方面，本发明实施例提供一种业务数据交互系统，该系统包括Kafka集群以及至少一个业务系统，所述至少一个业务系统中包括实现Kafka生产者功能的第一业务系统和实现Kafka消费者功能的第二业务系统，所述第一业务系统和所述第二业务系统均具有向Kafka集群以Kafka消息形式发布业务数据和从Kafka集群以Kafka消息形式接收业务数据的能力，其中：

所述第一业务系统，用于获取所述第一业务系统与所述第二业务系统之间共享的键值对，所述键值对用于标识所述第一业务系统与所述第二业务系统之间交互的业务数据，所述第一业务系统依据所述键值对以及所述Kafka集群的分区机制确定目标分区，并将所述业务数据发布至所述目标分区。

所述Kafka集群，用于接收所述第一业务系统发布的业务数据，并将所述业务数据存储至所述目标分区，并接收所述第二业务系统发送的键值对，依据所述键值对以及所述Kafka集群的分区机制确定所述目标分区，并在所述目标分区内获取所述业务数据，将所述业务数据发送至所述第二业务系统。