[发明专利]数据比对方法、装置、存储介质及电子设备

说明书

本公开涉及一种数据比对方法、装置、存储介质及电子设备，以提供一种新的数据比对方式，提高数据比对的效率。该数据比对方法包括：获取上一次存储的数据表中的N个连续的数据分区的数据；判断所述数据表中是否存在生成时间晚于所述N个连续的数据分区的新数据分区；若所述数据表中存在生成时间晚于所述N个连续的数据分区的新数据分区，则确定N个新的连续的数据分区；对上一次获取的N个连续的数据分区中，与本次获取的N个新的连续的数据分区中相同的数据分区中的数据进行比对，以确定差异数据。

技术领域

本公开涉及数据处理技术领域，具体地，涉及一种数据比对方法、装置、存储介质及电子设备。

背景技术

在数据同步过程中，可以进行增量数据同步，即先对源数据库的数据进行数据比对，以确定源数据库在预设时长前后的差异数据，然后将该差异数据同步至目标数据库。

相关技术中，对源数据的数据进行数据比对的方式主要是快照比对的方式，即对源数据库中存储的数据表进行全表扫描，将源数据库中当前存储的数据与上一次全表扫描时的数据进行比对，从而确定源数据库中的差异数据。但是，由于快照比对的方式需要全表扫描，因此随着数据量越来越多，全表扫描的性能将越来越慢，从而将影响数据比对的效率。

发明内容

本公开的目的是提供一种数据比对方法、装置、存储介质及电子设备，以提供一种新的数据比对的方式，提高数据比对的效率。

为了实现上述目的，第一方面，本公开提供一种数据比对方法，所述方法包括：

获取上一次存储的数据表中的N个连续的数据分区的数据，N为大于1的正整数，其中，所述数据分区是每当所述数据表存储的数据满足预设条件时，将存储的数据进行划分而得到的；

判断所述数据表中是否存在生成时间晚于所述N个连续的数据分区的新数据分区；

若所述数据表中存在生成时间晚于所述N个连续的数据分区的新数据分区，则确定N个新的连续的数据分区，所述N个新的连续的数据分区包括M个新数据分区，以及所述N个连续的数据分区中与该M个新数据分区临近的L个数据分区，其中，M+L＝N；

对上一次获取的N个连续的数据分区中，与本次获取的N个新的连续的数据分区中相同的数据分区中的数据进行比对，以确定差异数据。

可选地，所述数据表中的数据分区是通过如下方式划分的：

将所述数据表在每一预设时长内存储的数据划分为一个数据分区；或者，

每当所述数据表存储的数据的主键数量达到预设数量阈值时，将存储的数据划分为一个数据分区。

可选地，所述对上一次获取的N个连续的数据分区中，与本次获取的N个新的连续的数据分区中相同的数据分区中的数据进行比对，包括：

确定存在于上一次获取的N个连续的数据分区中，但不存在于本次获取的N个连续的数据分区中的旧数据分区；

删除上一次获取的N个连续的数据分区中的所述旧数据分区；

将上一次获取的N个连续的数据分区中的剩余数据分区与本次获取的N个连续的数据分区中的剩余数据分区进行比对。

可选地，在获取上一次存储的数据表中的N个连续的数据分区的数据之前，所述方法还包括：

根据所述数据表中数据所携带的时间戳，识别所述数据表中的插入数据以及更新数据；

确定所述插入数据和所述更新数据所携带的时间戳的最大值；

所述确定N个新的连续的数据分区，所述N个新的连续的数据分区包括M个新数据分区，以及所述N个连续的数据分区中与该M个新数据分区临近的L个数据分区，包括：