[发明专利]提升广域多集群分布式系统执行任务效率的方法及装置

权利要求书

1.一种提升广域多集群分布式系统执行任务效率的方法，其特征在于，分布式系统由分布在广域的多个集群构成，所述方法包括：

确定由分布式任务中的各子任务构成的子任务队列；

在所述子任务队列中，确定执行顺序在当前执行的任务之后的待执行任务；

根据所述待执行任务，确定所述待执行任务的信息，作为第一信息；

根据所述第一信息和每个集群的可用资源，在各集群中，确定执行所述待执行任务的目标集群；

确定所述目标集群的时延因素信息，所述时延因素信息包括发送时延因素信息、接收时延因素信息、中转处理时延因素信息及物理传输时延因素信息；

将所述时延因素信息输入预先训练的通信时延预测模型，以通过所述通信时延预测模型确定时延；

根据所述时延，确定调度所述待执行任务的调度时间提前量；

根据所述调度时间提前量，将执行所述待执行任务所需的数据调度至所述目标集群。

2.权利要求1所述的方法，其特征在于，确定执行顺序在当前执行的任务之后的待执行任务，具体包括：

确定预设数量的执行顺序在当前执行的任务之后的待执行任务。

3.权利要求1所述的方法，其特征在于，根据所述第一信息和每个集群的可用资源，在各集群中，确定执行所述待执行任务的目标集群，具体包括：

根据所述第一信息，确定执行所述待执行任务的资源；

根据执行所述待执行任务的资源及每个集群的可用资源，在各集群中，确定可用资源不少于执行所述待执行任务的资源的集群，作为目标集群。

4.权利要求1所述的方法，其特征在于，确定所述目标集群的时延因素信息，具体包括：

根据执行所述待执行任务所需的数据所在的集群，确定发送所述所需的数据的发送时延因素信息，作为第一因素信息；

根据所述目标集群，确定接收所述所需的数据的接收时延因素信息，作为第二因素信息；

根据所述分布式系统中所述所需的数据所在的集群到所述目标集群的传输链路中的中转设备，确定传输所述所需的数据时的中转处理时延因素信息，作为第三因素信息；

根据所述分布式系统中所述所需的数据所在的集群到所述目标集群的物理链路，确定传输所述所需的数据的物理传输时延因素信息，作为第四因素信息；

根据所述第一因素信息、所述第二因素信息、所述第三因素信息及所述第四因素信息中至少一种，确定时延因素信息。

5.如权利要求4所述的方法，其特征在于，所述通信时延预测模型包括第一通信时延预测模型、第二通信时延预测模型、第三通信时延预测模型及第四通信时延预测模型；

将所述时延因素信息输入预先训练的通信时延预测模型，以通过所述通信时延预测模型确定时延，具体包括：

将所述第一因素信息输入预先训练的所述第一通信时延预测模型，以通过所述通信时延预测模型确定发送时延；

将所述第二因素信息输入预先训练的所述第二通信时延预测模型，以通过所述通信时延预测模型确定接收时延；

将所述第三因素信息输入预先训练的所述第三通信时延预测模型，以通过所述通信时延预测模型确定中转时延；

将所述第四因素信息，输入预先训练的所述第四通信时延预测模型，以通过所述通信时延预测模型确定传输时延；

根据所述发送时延、所述接收时延、所述中转时延及所述传输时延中至少一种，确定总时延。

6.如权利要求1所述的方法，其特征在于，将执行所述待执行任务所需的数据调度至所述目标集群，具体包括：

确定执行所述待执行任务所需的数据所在的集群；

将所述所需的数据从所述所需的数据所在的集群传输至所述目标集群。

7.如权利要求1所述的方法，其特征在于，训练所述通信时延预测模型，具体包括：

确定样本时延因素信息，并获取标签样本时延；

将所述样本时延因素信息输入所述通信时延预测模型，以根据通信时延预测模型，确定输出时延；

根据所述输出时延及所述标签样本时延，确定所述输出时延与所述标签样本时延的差异；

以最小化所述差异为训练目标，训练所述通信时延预测模型。