[发明专利]增量数据的同步方法和装置、电子设备和存储介质

说明书

本申请提供了一种增量数据的同步方法和装置、电子设备和存储介质，其中，该方法包括：在确定源端的目标业务系统内的目标子业务被更新的情况下，获取被更新时产生的增量数据对应的操作记录；将操作记录按照关联信息的分类分别发送至分布式消息队列的各个主题分区中；利用流式处理引擎提取主题分区中的操作记录进行消费，并将消费后的操作记录写入第二数据库内，得到操作记录排序队列；利用流式处理引擎读取第二数据库内存放的操作记录排序队列，并将操作记录排序队列对应的增量数据发送至目标端，使得目标端完成增量数据的同步。通过本申请，解决了相关技术中存在的源端和目标端的增量数据同步不准确的问题。

技术领域

本申请涉及数据处理领域，尤其涉及一种增量数据的同步方法和装置、电子设备和存储介质。

背景技术

目前，存在一些源端数据库和目标端数据库中存储的数据需要达成同步的场景，常见的数据同步方式为数据库的增量数据同步，增量数据，顾名思义，指新增加的数据。其中，在一种关系型数据库的增量同步中，一般要求传输源端数据库的操作记录到目标端，并利用消息队列来实现操作记录数据的削峰填谷，保证吞吐量。

然而在多数据源，多表，大数据量的场景下，消息队列需要开启多分区特性，消费者从不同分区中读取消息的速度不一致，那么就会导致传达到目标端的数据库操作记录顺序不一致，比如，操作记录为先删除再插入的顺序，如果反了则会丢失后面插入的数据，源端和目标端的数据将会出现偏差。因此消息队列的消费不能保证消息的全局有序性，致使增量同步目标端数据不准确。

因此，相关技术中存在源端数据和目标端数据的增量数据同步不准确的问题。

发明内容

本申请提供了一种增量数据的同步方法和装置、电子设备和存储介质，以至少解决相关技术中存在源端数据和目标端数据的增量数据同步不准确的问题。

根据本申请实施例的一个方面，提供了一种增量数据的同步方法，该方法包括：

在确定源端的目标业务系统内的目标子业务被更新的情况下，获取被更新时产生的增量数据对应的操作记录，其中，所述目标业务系统内包含多个子业务，所述操作记录用于表征所述增量数据产生时对应的多个关联信息，所述关联信息包含时间戳；

将所述操作记录按照所述关联信息的分类分别发送至分布式消息队列的各个主题分区中；

利用流式处理引擎提取所述主题分区中的所述操作记录进行消费，并将消费后的所述操作记录写入第二数据库内，得到操作记录排序队列，其中，所述第二数据库按照预设格式将所述消费后的所述操作记录进行存放，所述操作记录排序队列是依据所述时间戳的先后次序对所述消费后的所述操作记录进行排序后生成的队列；

利用所述流式处理引擎读取所述第二数据库内存放的所述操作记录排序队列，并将所述操作记录排序队列对应的所述增量数据发送至目标端，使得所述目标端完成所述增量数据的同步。

根据本申请实施例的另一个方面，还提供了一种增量数据的同步装置，该装置包括：

第一获取单元，用于在确定源端的目标业务系统内的目标子业务被更新的情况下，获取被更新时产生的增量数据对应的操作记录，其中，所述目标业务系统内包含多个子业务，所述操作记录用于表征所述增量数据产生时对应的多个关联信息，所述关联信息包含时间戳；

第一发送单元，用于将所述操作记录按照所述关联信息的分类分别发送至分布式消息队列的各个主题分区中；

得到单元，用于利用流式处理引擎提取所述主题分区中的所述操作记录进行消费，并将消费后的所述操作记录写入第二数据库内，得到操作记录排序队列，其中，所述第二数据库按照预设格式将所述消费后的所述操作记录进行存放，所述操作记录排序队列是依据所述时间戳的先后次序对所述消费后的所述操作记录进行排序后生成的队列；