[发明专利]数据同步方法、装置、电子设备及存储介质

说明书

本申请提出了一种数据同步方法、装置、电子设备及存储介质，其中，方法包括：确定源表中的待处理数据，其中，待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；确定至少一个行数据中的重复行数据，其中，重复行数据存在于源表的历史同步数据中；删除待处理数据中的重复行数据，得到待同步数据；将待同步数据同步至目的表中，从而解决数据同步时数据重复的问题，提高数据同步效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

背景技术

相关技术中，基于源表对目的表进行数据同步时，是将源表中保存时间的字段作为增量数据的查询条件，基于该查询条件查询源表中的增量数据，并基于增量数据实现对目的表的数据同步。上述技术方案中，可能会出现数据重复的问题，导致同步后源表与目的表的数据不一致，数据同步效率差。

发明内容

本申请的目的旨在至少在一定程度上解决上述技术问题之一。

为此，本申请提出了一种数据同步方法、装置、电子设备及存储介质，通过确定源表中的待处理数据，确定至少一个行数据中的重复行数据，删除待处理数据中的重复行数据，得到待同步数据，将待同步数据同步至目的表中，解决现有技术方案中数据同步时数据重复的问题，提高数据同步效率。

本申请第一方面实施例提出了一种数据同步方法，包括：

确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；

确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；

删除所述待处理数据中的所述重复行数据，得到待同步数据；

将所述待同步数据同步至目的表中。

可选地，所述确定源表中的待处理数据，包括：

确定所述源表的最大历史同步时间戳以及最大时间戳；

以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；

抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。

可选地，所述确定所述源表的最大历史同步时间戳以及最大时间戳，包括：

确定所述源表的最大时间戳；

获取存储的所述最大历史同步时间戳；或者，在未存储所述最大历史同步时间戳时，将用户配置的同步时间戳或者预设的同步时间戳确定为所述最大历史同步时间戳。

可选地，所述确定所述至少一个行数据中的重复行数据，包括：

确定所述至少一个行数据中的候选行数据，其中，所述候选行数据的时间戳与所述同步时间段的起始时间戳一致；

确定所述历史同步数据中的参考行数据，其中，所述参考行数据的时间戳与所述起始时间戳一致；

对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据。

可选地，所述源表的行数据中设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：

对所述候选行数据的主键字段和所述参考行数据的主键字段进行比对处理，确定所述候选行数据和所述参考行数据中相同的主键字段；

将所述相同的主键字段对应的候选行数据确定为所述重复行数据。