[发明专利]数据同步方法及装置、存储介质及电子设备

说明书

本申请涉及数据处理技术领域，提供一种数据同步方法及装置、存储介质及电子设备。其中，数据同步方法包括：分别获取源系统的同步计算表以及目标系统的同步计算表；从源系统的同步计算表中查找第一同步位置；若查找第一同步位置成功，则向目标系统的数据表中同步源系统的数据表在第一同步位置以及第一同步位置之后的数据。该方法显著减少全量同步所需的数据量，从而有利于节约传输资源，并降低数据在传输过程中出错的可能性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据同步方法及装置、存储介质及电子设备。

背景技术

现代软件项目中往往包含多家公司的多个业务系统，系统之间有些数据需要共享，又因系统安全等因素不能共用(共用就是同一份数据被多个不同的系统同时使用)，而只能在各个系统上分别存储一份，并设法保证各个系统上存储的数据是一致的。

目前，确保数据一致的方法是数据同步，即将数据从源系统无差别地复制到目标系统上，按数据的同步方式，数据同步又可以分为全量同步、增量同步等。所谓全量同步，现有技术中的做法一般是将源系统中的数据全部传输给目标系统，覆盖目标系统中的原有数据。现有方法的逻辑虽然简单，但由于同步过程可能涉及大量数据传输，因此严重占用传输资源(例如，网络带宽)，并且在数据传输过程中也容易发生错误，导致数据同步失败。

发明内容

本申请实施例的目的在于提供一种数据同步方法及装置、存储介质及电子设备，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种数据同步方法，包括：分别获取源系统的同步计算表以及目标系统的同步计算表；其中，业务系统的同步计算表中的每一行记录依次对应该系统的数据表中的每一行数据，所述同步计算表中的每一行记录均对应一个第一哈希值，所述第一哈希值由该行记录对应的第一关联数据经第一哈希算法处理后得到，所述第一关联数据包括与该行记录对应的所述数据表中的数据以及所述同步计算表中该行记录的上一行记录中的第一哈希值；从所述源系统的同步计算表中查找第一同步位置；其中，查找条件包括：所述源系统的同步计算表与所述目标系统的同步计算表在所述第一同步位置处的记录中的第一哈希值不同，并且，所述第一同步位置是所述源系统的同步计算表中满足第一哈希值不同的位置中最靠前的位置；若查找所述第一同步位置成功，则向所述目标系统的数据表中同步所述源系统的数据表在所述第一同步位置以及所述第一同步位置之后的数据。

在上述方法中，业务系统(指源系统和目标系统)的同步计算表是基于业务系统的数据表构建的，同步计算表中的每一行记录依次对应该系统的数据表中的每一行数据，并且同步计算表中的每一行记录均对应一个第一哈希值，第一哈希值由该行记录在数据表中对应的一行数据、以及同步计算表中该行记录的上一行记录中的第一哈希值经哈希运算得到。

根据同步计算表的构建方式以及哈希值的特点可知，两个业务系统的数据表在某一行的数据不同，则两个业务系统的同步计算表在该行以及之后的所有行的第一哈希值均不同；反过来，两个业务系统的同步计算表在某一行的第一哈希值相同，则两个业务系统的数据表在该行以及之前的所有行的第一哈希值均相同。

根据以上性质，在上述方法所查找到的第一同步位置之前，两个业务系统的数据表中的数据是相同的，无需同步；在上述方法所查找到的第一同步位置处，两个业务系统的数据表中的数据是不同的，需要同步；在上述方法所查找到的第一同步位置之后，两个业务系统的数据表中的数据可能相同可能不同，可以直接进行同步，或者执行与数据同步相关的操作进一步判断。

该方法所达到的效果是全量同步，即同步后两个业务系统的数据表中的数据完全一致，并且该方法至少不需要同步两个业务系统的数据表在第一同步位置之前的数据，从而显著减少了全量同步所需的数据量，有利于节约传输资源，并降低数据在传输过程中出错的可能性。