[发明专利]增量数据的同步方法和装置、电子设备和存储介质

权利要求书

1.一种增量数据的同步方法，其特征在于，所述方法包括：

在确定源端的目标业务系统内的目标子业务被更新的情况下，获取被更新时产生的增量数据对应的操作记录，其中，所述目标业务系统内包含多个子业务，所述操作记录用于表征所述增量数据产生时对应的多个关联信息，所述关联信息包含时间戳；

将所述操作记录按照所述关联信息的分类分别发送至分布式消息队列的各个主题分区中；

利用流式处理引擎提取所述主题分区中的所述操作记录进行消费，并将消费后的所述操作记录写入第二数据库内，得到操作记录排序队列，其中，所述第二数据库按照预设格式将所述消费后的所述操作记录进行存放，所述操作记录排序队列是依据所述时间戳的先后次序对所述消费后的所述操作记录进行排序后生成的队列；

利用所述流式处理引擎读取所述第二数据库内存放的所述操作记录排序队列，并将所述操作记录排序队列对应的所述增量数据发送至目标端，使得所述目标端完成所述增量数据的同步。

2.根据权利要求1所述的方法，其特征在于，所述获取被更新时产生的增量数据对应的操作记录包括：

获取所述目标业务系统内的第一数据库，其中，所述第一数据库内存储有所述目标子业务更新后的所述增量数据；

对所述第一数据库内存储的所述增量数据进行实例化配置，得到可读取数据；

获取所述可读取数据对应的所述操作记录。

3.根据权利要求2所述的方法，其特征在于，所述获取所述可读取数据对应的所述操作记录包括：

将所述可读取数据转换为二进制日志文件，其中，所述二进制日志文件用于记录所述第一数据库内存储的已更新数据和待更新数据；

根据解析工具解析所述二进制日志文件，得到所述目标子业务被更新时执行的所述操作记录。

4.根据权利要求1所述的方法，其特征在于，所述利用流式处理引擎提取所述主题分区中的所述操作记录进行消费，并将消费后的所述操作记录写入第二数据库内，得到操作记录排序队列包括：

所述流式处理引擎基于预设关键信息，对所述主题分区中的操作记录进行消费，得到所述消费后的所述操作记录；

获取所述第二数据库存放数据的预设格式；

将所述时间戳作为版本号，并按照所述预设格式将所述消费后的所述操作记录写入所述预设格式对应的预设单元内；

按照所述版本号的大小顺序，对所述消费后的所述操作记录排序，得到所述操作记录排序队列。

5.根据权利要求1所述的方法，其特征在于，在将所述操作记录排序队列对应的所述增量数据发送至目标端之前，所述方法还包括：

对所述操作记录排序队列对应的所述增量数据进行格式的转换，得到转换格式后的增量数据，其中，所述转换格式后的增量数据满足所述目标端所支持的数据格式；

将所述转换格式后的增量数据发送至所述目标端，其中，所述目标端的数量为至少一个。

6.根据权利要求1所述的方法，其特征在于，所述利用所述流式处理引擎读取所述第二数据库内存放的所述操作记录排序队列包括：

所述流式处理引擎根据预设消费方案对读取的所述操作记录排序队列进行消费，其中，所述预设消费方案用于指示所述流式处理引擎对所述操作记录排序队列内的各个所述操作记录执行有且仅有一次的消费操作。

7.根据权利要求6所述的方法，其特征在于，在所述流式处理引擎根据预设消费方案对读取的所述操作记录排序队列进行消费之后，所述方法还包括：

获取所述操作记录排序队列内的各个所述操作记录的识别码；

对所述识别码执行检查机制操作，其中，所述检查机制包括：识别码错误检查机制、识别码重复检查机制；

将所述检查机制指示错误的所述操作记录从所述操作记录排序队列中删除。