[发明专利]数据同步方法、装置、设备及存储介质

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

获取待同步数据和所述待同步数据的数量；

根据所述待同步数据的数量确定当前的数据同步方式，并获取同步配置参数和同步执行参数；

当所述待同步数据的数量不大于预设阈值时，确定所述数据同步方式为单线程同步，并根据所述同步配置参数对所述待同步数据进行数据同步；

当所述待同步数据的数量大于预设阈值时，确定所述数据同步方式为多线程同步，根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，并根据所述单线程任务数和所述任务批次进行数据同步。

2.根据权利要求1所述的数据同步方法，其特征在于，在所述根据所述同步配置参数对所述待同步数据进行数据同步之前，所述方法包括：

获取初始配置参数，并根据所述初始配置参数对历史数据进行数据同步；

若数据同步异常，则对所述初始配置参数进行调整，并再次对所述历史数据进行数据同步；

若数据同步正常，则将所述初始配置参数作为同步配置参数。

3.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，包括：

获取第一可用内存，并根据所述同步执行参数和所述第一可用内存确定并行行数；

获取第一可用处理器核数，并根据所述待同步数据的数量、所述并行行数、所述同步配置参数和所述第一可用处理器核数确定处理行数和使用的处理器核数；

根据所述处理行数、所述使用的处理器核数和所述待同步数据的数量确定单线程任务数和任务批次。

4.根据权利要求3所述的数据同步方法，其特征在于，所述方法包括：

获取当前的内存使用系数和当前的处理器使用系数；

根据所述同步执行参数、所述当前的内存使用系数和所述第一可用内存确定并行行数；以及

根据所述待同步数据的数量、所述并行行数、所述同步配置参数、所述当前的处理器使用系数和所述第一可用处理器核数确定处理行数和使用的处理器核数。

5.根据权利要求1所述的数据同步方法，其特征在于，所述当所述待同步数据的数量大于预设阈值时，确定所述数据同步方式为多线程同步，包括：

当所述待同步数据的数量大于预设阈值时，确定是否存在同步配置参数和/或同步执行参数；

若不存在同步配置参数和/或同步执行参数，则调整数据同步方式为单线程同步。

6.根据权利要求1所述的数据同步方法，其特征在于，所述方法包括：

获取所述待同步数据的数据版本标识；

对所述待同步数据进行数据更新，并按照预设规则对所述数据版本标识进行更新，得到更新版本标识；

根据所述更新版本标识和所述数据版本标识确定进行数据同步时的数据版本。

7.根据权利要求6所述的数据同步方法，其特征在于，所述预设规则包括更新版本标识的数值为初始版本标识的数值加一；所述根据所述更新版本标识和所述数据版本标识确定进行数据同步时的数据版本，包括：

比较所述更新版本标识的数值与所述数据版本标识的数值之间的大小关系；

当所述更新版本标识的数值大于所述数据版本标识的数值时，使用所述更新版本标识对应的数据版本进行数据同步。

8.一种数据同步装置，其特征在于，包括：

数据获取模块，用于获取待同步数据和所述待同步数据的数量；

方式确定模块，用于根据所述待同步数据的数量确定当前的数据同步方式，并获取同步配置参数和同步执行参数；

单线程同步模块，用于当所述待同步数据的数量不大于预设阈值时，确定所述数据同步方式为单线程同步，并根据所述同步配置参数对所述待同步数据进行数据同步；

多线程同步模块，用于当所述待同步数据的数量大于预设阈值时，确定所述数据同步方式为多线程同步，根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，并根据所述单线程任务数和所述任务批次进行数据同步。