[发明专利]分布式任务处理方法、系统及存储介质

说明书

本申请公开一种分布式任务处理方法、系统及存储介质，其中分布式任务处理方法包括：发送包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包；其中，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述任务参数是通过执行一分布式计算任务而得到的；接收包含聚合参数的第二数据包；其中，所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理；其中，所述聚合参数是由所述转发节点或参数节点对所述第一数据包中的任务参数执行聚合操作后得到的。本申请解决了分布式系统中存在的通信瓶颈问题，提高了分布式任务的处理效率。

技术领域

本申请涉及计算机数据处理领域，具体的涉及一种分布式任务处理方法、系统及存储介质。

背景技术

目前，分布式计算系统的一种网络架构包括参数服务器和多个节点，其中节点负责计算获得模型参数并同步至参数服务器，而参数服务器负责根据节点传输的模型参数计算更新全局参数。然而，随着在该种架构下的各节点与参数服务器之间传输的数据量增多，无法避免地会面临通信瓶颈的问题。

发明内容

鉴于以上所述相关技术的缺点，本申请的目的在于提供一种分布式任务处理方法、系统及存储介质，用以克服上述相关技术中存在的分布式计算系统中的通信瓶颈的技术问题。

为实现上述目的及其他相关目的，本申请公开的第一方面提供一种分布式任务处理方法，包括：发送包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包；其中，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述任务参数是通过执行一分布式计算任务而得到的；接收包含聚合参数的第二数据包；其中，所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理；其中，所述聚合参数是由所述转发节点或参数节点对所述第一数据包中的任务参数执行聚合操作后得到的。

本申请公开的第二方面提供一种分布式任务处理系统，包括：发送模块，用于发送包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包；其中，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；所述任务参数是通过执行一分布式计算任务而得到的；接收模块，用于接收包含聚合参数的第二数据包；其中，所述聚合参数用于供对应同一分布式计算任务的各工作节点进行数据处理；其中，所述聚合参数是由所述转发节点或参数节点依据所述第一数据包中的任务参数执行聚合操作后得到的。

本申请公开的第三方面提供一种工作节点，包括：至少一个存储器，用于存储至少一个程序；至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时以执行并实现如第一方面所述的分布式任务处理方法。

本申请公开的第四方面提供一种分布式任务处理方法，包括：接收多个包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述多个任务参数是由多个工作节点通过执行一分布式计算任务而得到的；依据所述第一数据包中的标识信息对各任务参数执行聚合操作得到聚合参数，以及将所述聚合参数发送至参数节点以供核验；将所述参数节点所发出的包含聚合参数的第二数据包反馈至相应的工作节点。

本申请公开的第五方面提供一种分布式任务处理系统，包括：接收模块，用于接收多个包含任务参数和用于指示执行聚合操作的节点的标识信息的第一数据包，所述标识信息用于指示由转发节点或参数节点对所述任务参数执行聚合操作；其中，所述任务参数是由多个工作节点通过执行一分布式计算任务而得到的；处理模块，用于依据所述第一数据包中的标识信息对各任务参数执行聚合操作得到聚合参数，以及将所述聚合参数发送至参数节点以供核验；反馈模块，用于将所述参数节点所发出的包含聚合参数的第二数据包反馈至相应的工作节点。

本申请公开的第六方面提供一种转发节点，包括：至少一个存储器，用于存储至少一个程序；至少一个处理器，与所述至少一个存储器连接，用于运行所述至少一个程序时以执行并实现如第四方面所述的分布式任务处理方法。