[发明专利]数据同步的方法、装置、计算机设备及存储介质

权利要求书

1.一种数据同步的方法，其特征在于，包括以下步骤：

获取待同步数据表中被标记为不定期同步的数据表；

基于根据历史数据而预先设置的第一更新周期对所述不定期同步的数据表进行增量同步；

若所述增量同步无效，基于历史数据计算得到的第二更新周期对所述不定期同步的数据表进行增量同步。

2.根据权利要求1所述的数据同步的方法，其特征在于，所述获取待同步数据表中被标记为不定期同步的数据表之前，包括：

获取所述待同步数据表的预置历史时间段内的第一更新时间戳，若相邻所述第一更新时间戳之间的间隔相同，则判断所述待同步数据表为定期同步的数据表，

否则，判断为不定期同步的数据表；

筛选出所述待同步数据表中不定期同步的数据表。

3.根据权利要求2所述的数据同步的方法，其特征在于，所述筛选出所述待同步数据表中不定期同步的数据表之后，还包括：

基于预先对所述待同步数据表设立的类型标签，将所述不定期同步的数据表中属于同一类型标签的同类型数据表进行归类；

根据所述同类型数据表在预置历史时间段内的第二更新时间戳，计算得到所述同类型数据表的平均更新周期，以所述平均更新周期作为第一更新周期。

4.根据权利要求3所述的数据同步的方法，其特征在于，所述基于历史数据计算得到的第二更新周期，包括：

基于所述同类型数据表中的至少两个共同字段，筛选出所述字段对应的数据值相同的数据，作为目标参考数据；

根据所述目标参考数据在预置历史时间段内的第三更新时间戳，计算得到所述目标参考数据的平均更新周期，以所述平均更新周期作为第二更新周期。

5.根据权利要求1所述的数据同步的方法，其特征在于，对所述不定期同步的数据表进行增量同步，包括：采用哈希散列对所述不定期同步的数据表进行散列排布，将所述不定期同步的数据表中具有相同主键的数据映射到同一数据块。

6.根据权利要求1所述的数据同步的方法，其特征在于，判断所述增量同步无效，包括：在预设周期内对所述不定期同步的数据表进行数据采集，包括增量同步前的历史数据以及对应的当前数据，将采集到的数据存储至预设存储区，并将所述增量同步前的历史数据与所述当前数据进行比较，若所述增量同步前的历史数据与所述当前数据相同，则判断所述增量同步无效。

7.根据权利要求6所述的数据同步的方法，其特征在于，判断所述增量同步无效之后，还包括：当接收到更新查询请求，批量筛选在预置时间段内未更新的所述不定期同步的数据表以作为异常数据表，并反馈查询结果。

8.一种数据同步的装置，其特征在于，包括：

获取模块，用于获取待同步数据表中被标记为不定期同步的数据表；

第一同步模块，用于基于根据历史数据而预先设置的第一更新周期对所述不定期同步的数据表进行增量同步；

判断模块，用以判断所述增量同步是否无效；

修正模块，用于基于历史数据计算得到第二更新周期；

第二同步模块，用于根据所述第二更新周期对所述不定期同步的数据表进行增量同步。

9.一种计算机设备，其特征在于，包括存储介质和处理器，所述存储介质中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述数据同步的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述数据同步的方法的步骤。