[发明专利]一种基于全量分片和增量日志解析的数据交换方法及系统

说明书

本发明涉及计算机网络技术领域，公开了一种基于全量分片和增量日志解析的数据交换方法，包括：步骤1、根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；步骤2.根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；步骤3.根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；步骤4：上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。源表结构不需要修改即可实现数据的分批以及增量获取，避免了线上业务暂停或服务宕机，在保证源数据的自身格式的同时，还能够实时的将源数据发送到目的端，提供及时的数据服务。

技术领域

本发明计算机网络信息技术领域，特别是指一种基于全量分片和增量日志解析的数据交换方法及其系统。

背景技术

随着社会的进步和技术的发展，应用系统越来越多，各自的数据存在于自己的隔离网络内部，数据孤岛越来越多，增量和全量的数据交换方法打破了数据孤岛，全量分片读取源库数据避免了线上业务暂停服务，而增量的日志解析保护了源生态系统不被打破。而传统数据交换方法大致为，全量直接查库，数据量大的时候线上业务可能会宕机或者暂停服务，而增量技术大部分在源端增加时间戳或者全表对比，需要修改源表结构，同时也传输了更多的无用数据，造成更高的网络负载，破坏了源生态系统，和全量分片以及增量解析日志进行数据交换的方法相比在性能和稳定性上存在一定差距。

发明内容

本发明提出基于全量分片和增量日志解析的数据交换方法及其系统，实现不宕机获取源库全量数据以及不打破源生态获取增量数据，同时降低网络负载，打破数据孤岛。

本发明的技术方案是这样实现的：一种基于全量分片和增量日志解析的数据交换方法，包括：

步骤1.全量数据分片处理：根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；

步骤2.全量数据写入：根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端，同时记录写入时间点，其中时间点为最后一个数据的事件日志记录的时间；

步骤3.增量日志解析：根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；

步骤4：增量数据写入：根据预设的作业映射关系，依据步骤2中记录的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端，并且记录本次时间点位置点。

作为优选的技术方案，在步骤1之前，从添加的数据库中获取元数据并存储。

作为优选的技术方案，步骤1具体包括：判断分片列数据类型；根据分片列数据类型匹配对应的算法对数据进行分片。

作为优选的技术方案，分片列数据类型是数字类型、字符类型或日期类型；数据类型的分片列数据根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；字符类型的分片列数据首先转化为数字类型的分片列数据，再根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；时间类型的分片列数据则根据预设的分片天数以及数据的首次产生日期和最后一次写入日期计算出总的分片数以及每片的区间。

作为优选的技术方案，步骤1中，还包括对分片数据按照时间顺序排序并进行清洗和去重的步骤。

作为优选的技术方案，在步骤2中，全量分片信息以预设的数据量或数据获取的时间段分批从数据库中获取数据并写入目标端。

作为优选的技术方案，还包括将目标端每行数据的最新更新时间记录到管理中台数据库的步骤。

一种基于全量分片和增量日志解析的数据交换平台，包括：

元数据管理单元，用于从添加的数据库中获取元数据并存储；