[发明专利]数据同步方法、装置、电子设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，包括：

确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；

确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；

删除所述待处理数据中的所述重复行数据，得到待同步数据；

将所述待同步数据同步至目的表中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述确定源表中的待处理数据，包括：

确定所述源表的最大历史同步时间戳以及最大时间戳；

以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；

抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。

3.根据权利要求2所述的数据同步方法，其特征在于，所述确定所述源表的最大历史同步时间戳以及最大时间戳，包括：

确定所述源表的最大时间戳；

获取存储的所述最大历史同步时间戳；或者，在未存储所述最大历史同步时间戳时，将用户配置的同步时间戳或者预设的同步时间戳确定为所述最大历史同步时间戳。

4.根据权利要求1所述的数据同步方法，其特征在于，所述确定所述至少一个行数据中的重复行数据，包括：

确定所述至少一个行数据中的候选行数据，其中，所述候选行数据的时间戳与所述同步时间段的起始时间戳一致；

确定所述历史同步数据中的参考行数据，其中，所述参考行数据的时间戳与所述起始时间戳一致；

对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据。

5.根据权利要求4所述的数据同步方法，其特征在于，所述源表的行数据中设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：

对所述候选行数据的主键字段和所述参考行数据的主键字段进行比对处理，确定所述候选行数据和所述参考行数据中相同的主键字段；

将所述相同的主键字段对应的候选行数据确定为所述重复行数据。

6.根据权利要求4所述的数据同步方法，其特征在于，所述源表的行数据中未设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：

提取所述候选行数据的摘要信息以及所述参考行数据的摘要信息；

对所述候选行数据的摘要信息和所述参考行数据的摘要信息进行比对处理，确定相同的摘要信息，以及所述相同的摘要信息的数量；

将具有所述相同的摘要信息的所述数量个候选行数据确定为所述重复行数据。

7.根据权利要求2所述的数据同步方法，其特征在于，在将所述待同步数据同步至目的表中之后，所述方法还包括：

采用所述同步时间段中的所述终止时间戳，对存储的最大历史同步时间戳进行更新处理；或者，在未存储有最大历史同步时间戳时，将所述终止时间戳作为最大历史同步时间戳进行存储。

8.一种数据同步装置，其特征在于，包括：

第一确定模块，用于确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；

第二确定模块，用于确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；

处理模块，用于删除所述待处理数据中的所述重复行数据，得到待同步数据；

同步模块，用于将所述待同步数据同步至目的表中。

9.根据权利要求8所述的数据同步装置，其特征在于，所述第一确定模块具体用于，

确定所述源表的最大历史同步时间戳以及最大时间戳；

以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；

抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。