[发明专利]分布式任务处理方法、系统及存储介质

权利要求书

1.一种分布式任务处理方法，其特征在于，包括：

发送包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包；其中，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述任务参数是通过执行一分布式计算任务而得到的；

接收包含聚合参数的第二数据包；其中，所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理；其中，所述聚合参数是由所述转发节点或参数节点对所述第一数据包中的任务参数执行聚合操作后得到的。

2.根据权利要求1所述的分布式任务处理方法，其特征在于，所述第一数据包中还包含任务标识信息，以供执行聚合操作的转发节点或参数节点确认所述第一数据包对应的分布式计算任务。

3.根据权利要求1所述的分布式任务处理方法，其特征在于，所述第一数据包中还包含节点标识信息，以供执行聚合操作的转发节点或参数节点确认对应于同一分布式计算任务的工作节点。

4.根据权利要求1所述的分布式任务处理方法，其特征在于，还包括：在发送所述第一数据包期间执行丢包检测，以及在检测到丢包时重新发送所述第一数据包。

5.根据权利要求1或4所述的分布式任务处理方法，其特征在于，所述用于指示执行聚合操作的节点的标识信息在确定重新发送时表示为由所述参数节点执行聚合操作，以供所述转发节点根据所述标识信息执行对所述第一数据包的转发操作，以及所述参数节点对所述任务参数执行聚合操作。

6.根据权利要求1所述的分布式任务处理方法，其特征在于，所述第一数据包中还包含资源配置标识信息，以供转发节点依据所述资源配置标识信息为所述第一数据包分配计算资源。

7.根据权利要求1所述的分布式任务处理方法，其特征在于，还包括：依据所述第二数据包中的聚合参数执行新一轮次的分布式计算任务。

8.根据权利要求1所述的分布式任务处理方法，其特征在于，所述分布式计算任务包括利用分布式计算的方式对机器学习模型进行梯度训练的计算任务。

9.一种分布式任务处理系统，其特征在于，包括：

发送模块，用于发送包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包；其中，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；所述任务参数是通过执行一分布式计算任务而得到的；

接收模块，用于接收包含聚合参数的第二数据包；其中，所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理；其中，所述聚合参数是由所述转发节点或参数节点依据所述第一数据包中的任务参数执行聚合操作后得到的。

10.一种工作节点，其特征在于，包括：

至少一个存储器，用于存储至少一个程序；

至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时以执行并实现如权利要求1至8任一项所述的分布式任务处理方法。

11.一种分布式任务处理方法，其特征在于，包括：

接收多个包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述多个任务参数是由多个工作节点通过执行一分布式计算任务而得到的；

依据所述第一数据包中的标识信息对各任务参数执行聚合操作得到聚合参数，以及将所述聚合参数发送至参数节点以供核验；

将所述参数节点所发出的包含聚合参数的第二数据包反馈至相应的工作节点。

12.根据权利要求11所述的分布式任务处理方法，其特征在于，所接收的第一数据包中还包含用于确认所述第一数据包对应的分布式计算任务的任务标识信息。