[发明专利]用于同步数据的方法、装置、设备和存储介质

说明书

提供了用于同步数据的方法、装置、设备和存储介质。在一种方法中，在数据同步系统中接收同步任务，同步任务用于从数据源向数据仓库同步在同步任务中指定的数据分页，数据同步系统包括多个执行节点，多个执行节点中的执行节点包括至少一个同步管道。基于由多个执行节点执行的一组同步任务的影响因子确定并发管道数量，并发管道数量表示数据同步系统中的用于执行数据同步的同步管道的数量的预测值。响应于确定数据同步系统中的同步管道的当前数量不同于并发管道数量，调整数据同步系统中的同步管道的当前数量。利用调整后的数据同步系统来执行同步任务。以此方式，可以动态地调整同步管道的并发管道数量，进而提高数据同步系统的性能。

技术领域

本公开的示例实施方式总体涉及数据同步，特别地涉及基于分布式方式从数据源向数据仓库同步数据的方法、装置、设备和计算机可读存储介质。

背景技术

目前已经提出了用于从数据源向数据仓库执行数据同步的多种技术方案。例如，可以经由数据源所支持的应用编程接口(API)来执行数据同步；又例如，可以基于数据源处的日志记录来执行数据同步，等等。然而，已有技术方案的数据同步性能并不令人满意。尤其是，当数据同步涉及较大数据量时，数据同步系统中的各种资源可能会被耗尽，进而导致数据同步任务出现延迟甚至失败。此时，期望可以以更加有效的方式执行数据同步。

发明内容

在本公开的第一方面，提供了一种用于同步数据的方法。在该方法中，在数据同步系统中接收同步任务，同步任务用于从数据源向数据仓库同步在同步任务中指定的数据分页，数据同步系统包括多个执行节点，多个执行节点中的执行节点包括至少一个同步管道。基于由多个执行节点执行的一组同步任务的影响因子确定并发管道数量，并发管道数量表示数据同步系统中的用于执行数据同步的同步管道的数量的预测值。响应于确定数据同步系统中的同步管道的当前数量不同于并发管道数量，调整数据同步系统中的同步管道的当前数量。利用调整后的数据同步系统来执行同步任务。

在本公开的第二方面，提供了一种用于同步数据的装置。该装置包括：接收模块，被配置用于在数据同步系统中接收同步任务，同步任务用于从数据源向数据仓库同步在同步任务中指定的数据分页，数据同步系统包括多个执行节点，多个执行节点中的执行节点包括至少一个同步管道；确定模块，被配置用于基于由多个执行节点执行的一组同步任务的影响因子确定并发管道数量，并发管道数量表示数据同步系统中的用于执行数据同步的同步管道的数量的预测值；调整模块，被配置用于响应于确定数据同步系统中的同步管道的当前数量不同于并发管道数量，调整数据同步系统中的同步管道的当前数量；以及执行模块，被配置用于利用调整后的数据同步系统来执行同步任务。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面的方法。

应当理解，本内容部分中所描述的内容并非旨在限定本公开的实施方式的关键特征或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施方式的示例环境的示意图；

图2示出了根据本公开的一些实施方式的经由数据同步系统来向数据仓库同步数据的过程的框图；

图3示出了根据本公开的一些实施方式的获取同步任务的过程的框图；

图4示出了根据本公开的一些实施方式的影响因子的数据结构的框图；