[发明专利]数据同步方法、装置、设备及存储介质

说明书

本申请涉及数据同步领域，具体公开了一种数据同步方法、装置、设备及存储介质，所述方法包括：获取待同步数据和所述待同步数据的数量；根据所述待同步数据的数量确定当前的数据同步方式，并获取同步配置参数和同步执行参数；当所述待同步数据的数量不大于预设阈值时，确定所述数据同步方式为单线程同步，并根据所述同步配置参数对所述待同步数据进行数据同步；当所述待同步数据的数量大于预设阈值时，确定所述数据同步方式为多线程同步，根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，并根据所述单线程任务数和所述任务批次进行数据同步。旨在提高数据同步的可靠性。

技术领域

本申请涉及数据同步领域，尤其涉及一种数据同步方法、装置、设备及存储介质。

背景技术

随着互联网技术的发展，业务系统每天都需要将增量数据同步至其他子系统，从而实现各个子系统之间数据的同步。但目前的同步方案中大多是使用一个子系统来向业务系统请求增量数据，然后再通过消息系统将增量数据同步给其他子系统，该同步方案结构简单，当增量数据过大时可能会出现数据同步过程的中断，进而导致增量数据无法自动同步。

发明内容

本申请提供了一种数据同步方法、装置、设备及存储介质，旨在提高数据同步的可靠性。

第一方面，本申请提供了一种数据同步方法，所述方法包括：

获取待同步数据和所述待同步数据的数量；

根据所述待同步数据的数量确定当前的数据同步方式，并获取同步配置参数和同步执行参数；

当所述待同步数据的数量不大于预设阈值时，确定所述数据同步方式为单线程同步，并根据所述同步配置参数对所述待同步数据进行数据同步，得到同步执行参数；

当所述待同步数据的数量大于预设阈值时，确定所述数据同步方式为多线程同步，根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，并根据所述单线程任务数和所述任务批次进行数据同步。

第二方面，本申请还提供了一种数据同步装置，所述装置包括：

数据获取模块，用于获取待同步数据和所述待同步数据的数量；

方式确定模块，用于根据所述待同步数据的数量确定当前的数据同步方式，并获取同步配置参数和同步执行参数；

单线程同步模块，用于当所述待同步数据的数量不大于预设阈值时，确定所述数据同步方式为单线程同步，并根据所述同步配置参数对所述待同步数据进行数据同步，得到同步执行参数；

多线程同步模块，用于所述待同步数据的数量大于预设阈值时，确定当所述数据同步方式为多线程同步，根据所述待同步数据的数量、所述同步执行参数和所述同步配置参数确定单线程任务数和任务批次，并根据所述单线程任务数和所述任务批次进行数据同步。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的数据同步方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的数据同步方法。