[发明专利]一种基于全量分片和增量日志解析的数据交换方法及系统

权利要求书

1.一种基于全量分片和增量日志解析的数据交换方法，其特征在于，包括：

步骤1.全量数据分片处理：根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；

步骤2.全量数据写入：根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端，同时记录写入时间点，

其中时间点为最后一个数据的事件日志记录的时间；

步骤3.增量日志解析：根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；

步骤4：增量数据写入：根据预设的作业映射关系，依据步骤2中记录的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端，并且记录本次位置点。

2.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：在步骤1之前，从添加的数据库中获取元数据并存储。

3.如权利要求1的基于全量分片和增量日志解析的数据交换方法，其特征在于：步骤1具体包括：判断分片列数据类型；根据分片列数据类型匹配对应的算法对数据进行分片。

4.如权利要求3所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：分片列数据类型是数字类型、字符类型或日期类型；数据类型的分片列数据根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；字符类型的分片列数据首先转化为数字类型的分片列数据，再根据预设的分片大小和数据总数计算出总的分片数以及每片的区间；时间类型的的分片列数据则根据预设的分片天数以及数据的首次产生日期和最后一次写入日期计算出总的分片数以及每片的区间。

5.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：步骤1中，还包括对分片数据按照时间顺序排序并进行清洗和去重的步骤。

6.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：在步骤2中，全量分片信息以预设的数据量或数据获取的时间段分批从数据库中获取数据并写入目标端。

7.如权利要求1所述的基于全量分片和增量日志解析的数据交换方法，其特征在于：还包括将目标端每行数据的最新更新时间记录到管理中台数据库的步骤。

8.一种基于全量分片和增量日志解析的数据交换平台，其特征在于，包括：

元数据管理单元，用于从添加的数据库中获取元数据并存储；

全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；

全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；

增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；

增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。

9.一种基于全量分片和增量日志解析的数据交换系统，其特征在于，包括：

数据源端，包括多个数据库，用于存储元数据；

目标端，用于存储从源端加载的数据；

数据交换平台，用于对源端和目标端之间的快捷敏捷数据交换，包括：

元数据管理单元，用于从添加的数据库中获取元数据并存储；

全量分片处理单元，用于根据分片列数据类型对数据进行分片，并将分片后的信息存入消息队列；

全量数据传输单元，用于根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；

增量日志解析单元，根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；

增量数据传输单元，根据预设的作业映射关系，全量数据的写入时间点或上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。

10.如权利要求9所述的基于全量分片和增量日志解析的数据交换系统，其特征在于：还包括管理中台数据库，用于存储目标端数据的更新记录。