[发明专利]用于同步数据的方法、装置、设备和存储介质

权利要求书

1.一种用于同步数据的方法，包括：

在数据同步系统中接收同步任务，所述同步任务用于从数据源向数据仓库同步在所述同步任务中指定的数据分页，所述数据同步系统包括多个执行节点，所述多个执行节点中的执行节点包括至少一个同步管道；

基于由所述多个执行节点执行的一组同步任务的影响因子确定并发管道数量，所述并发管道数量表示所述数据同步系统中的用于执行数据同步的同步管道的数量的预测值；

响应于确定所述数据同步系统中的所述同步管道的当前数量不同于所述并发管道数量，调整所述数据同步系统中的所述同步管道的所述当前数量；以及

利用调整后的所述数据同步系统来执行所述同步任务。

2.根据权利要求1所述的方法，其中所述数据同步系统进一步包括影响因子队列，所述影响因子队列包括所述一组同步任务的影响因子，以及确定所述并发管道数量包括：基于所述影响因子队列中的所述一组同步任务的影响因子，确定所述并发管道数量。

3.根据权利要求2所述的方法，其中所述影响因子队列中的影响因子是由执行与所述影响因子相关联的同步任务的执行节点所确定的。

4.根据权利要求1所述的方法，其中所述数据同步系统进一步包括任务队列，所述任务队列包括将要由所述多个执行节点执行的同步任务，以及利用调整后的所述数据同步系统来执行所述同步任务包括：向所述任务队列中写入所述同步任务，以使得所述多个执行节点中的执行节点来执行所述同步任务。

5.根据权利要求4所述的方法，其中所述数据同步系统进一步包括状态队列，所述状态队列包括所述一组同步任务的状态，以及所述方法进一步包括：基于所述状态队列来更新所述任务队列。

6.根据权利要求5所述的方法，其中所述状态队列中的状态是由执行与所述状态相关联的同步任务的执行节点所确定的。

7.根据权利要求1所述的方法，其中调整所述数据同步系统中的所述同步管道的所述当前数量包括：

基于所述多个执行节点中的各个执行节点中的同步管道的数量，从所述多个执行节点中选择执行节点；以及

调整选择的所述执行节点中的同步管道的数量。

8.根据权利要求7所述的方法，其中调整选择的所述执行节点中的同步管道的数量包括以下至少任一项：

响应于确定所述数据同步系统中的所述同步管道的所述当前数量高于所述并发管道数量，禁用所述执行节点中的同步管道；

响应于确定所述数据同步系统中的所述同步管道的所述当前数量低于所述并发管道数量，在所述执行节点中创建同步管道。

9.根据权利要求1所述的方法，其中所述影响因子包括以下至少任一项：所述数据同步系统中的同步任务的变化、延迟、开始时间、执行时间、数据量、数据同步速度。

10.根据权利要求1所述的方法，其中基于所述一组同步任务的所述影响因子确定所述并发管道数量包括基于以下任一项来确定所述并发管道数量：

描述所述并发管道数量与所述影响因子之间的关联关系的函数；

描述所述并发管道数量与所述影响因子之间的关联关系的机器学习模型。

11.根据权利要求1所述的方法，其中基于所述一组同步任务的影响因子确定所述并发管道数量包括：响应于确定所述同步任务为有效任务，确定所述并发管道数量。

12.根据权利要求11所述的方法，进一步包括：

响应于确定所述同步任务为无效任务，重试所述同步任务以便重新确定所述同步任务是否为无效任务；以及

响应于确定重试的次数达到预定阈值，终止所述同步任务。

13.根据权利要求1所述的方法，其中所述同步任务中的数据分页是经由所述数据源的分页应用编程接口来生成的。