[发明专利]一种数据同步方法、装置及终端设备

说明书

本申请适用于数据处理技术领域，提供了一种数据同步方法、装置及终端设备，所述方法包括：获取第一同步数据中更新数据的版本ID；以各数据项对应的更新数据中版本ID最大的更新数据作为有效的更新数据，删除第一同步数据中的非有效的更新数据，得到第二同步数据；对所述第二同步数据执行数据同步操作。本申请可以解决现有的数据同步方法进行冗余数据筛选时，消耗的时间性能会以平方的形式增长，限制了单次同步的数据量的问题。

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据同步方法、装置及终端设备。

背景技术

数据库可以视为电子化的文件柜，可以用来存储电子文件，用户可以对文件中的数据运行新增、更新和删除等操作。

当企业内的多个数据库需要相互协作，或者多个企业的数据库需要相互协作时，需要进行数据库之间的数据同步。

在进行数据同步时，需要将待同步数据中的冗余数据筛选剔除，当前主要通过双重子查询进行冗余数据的筛选，双重子查询的原理是内外层查询的每一个元素都要进行一次比对运算，因此，当待同步数据的数据量增长时，双重子查询的消耗的时间性能会以平方的形式增长，极大地限制了单次同步的数据量。

综上，现有的数据同步方法进行冗余数据筛选时，消耗的时间性能会以平方的形式增长，限制了单次同步的数据量。

发明内容

有鉴于此，本申请实施例提供了一种数据同步方法、装置及终端设备，以解决现有的数据同步方法进行冗余数据筛选时，消耗的时间性能会以平方的形式增长，限制了单次同步的数据量的问题。

本申请实施例的第一方面提供了一种数据同步方法，包括：

获取第一同步数据中更新数据的版本ID；

以各数据项对应的更新数据中版本ID最大的更新数据作为有效的更新数据，删除第一同步数据中的非有效的更新数据，得到第二同步数据；

对所述第二同步数据执行数据同步操作。

可选地，所述方法还包括：

当数据同步失败且失败原因为网络故障时，对同步失败的第三同步数据执行重新同步操作。

可选地，所述当数据同步失败且失败原因为网络故障时，对同步失败的第三同步数据执行重新同步操作具体包括：

当数据同步失败且失败原因为网络故障时，将同步失败的第三同步数据写入数据备用表中；

扫描数据备用表，当所述数据备用表中存在第三同步数据时，对所述第三同步数据执行重新同步操作。

可选地，所述方法还包括：

当重新同步失败时，以第一预置示警方式进行示警。

可选地，所述方法还包括：

当发生数据同步阻塞故障时，记录阻塞时长；

判断所述阻塞时长是否大于预置时长；

当所述阻塞时长大于预置时长时，启动数据冲突处理预案进行处理。

可选地，所述方法还包括：

在执行所述数据冲突处理预案后，判断是否已清除所述数据同步阻塞故障；

当所述数据同步阻塞故障未清除时，以第二预置提示方式进行示警。

可选地，在所述对所述第二同步数据执行数据同步操作之前，还包括：

提高每次数据同步操作的数据数量。

本申请实施例的第二方面提供了一种数据同步装置，包括：