[发明专利]任务处理方法、系统及数据处理系统

说明书

技术领域

本发明涉及分布式计算技术领域，特别是涉及任务处理方法、系统及数据处理系统。

背景技术

随着科技的发展，分布式计算技术也得到了广泛应用。例如：在视频转码领域，常将一部视频的转码任务分配给多个处理节点进行转码。

现有的分布式计算技术进行任务处理时，各处理节点都需要分别从存储系统中获取完整的待处理数据，然后从中选取部分数据进行处理，这无疑增加了网络负担。当某处理节点对数据处理失败时，就需要另一处理节点重新从存储系统中获取完整的待处理数据，同样增加了网络负担。

如何解决该技术问题仍旧是本领域技术人员一个亟待解决的技术难题。

发明内容

本发明实施例的目的在于提供一种任务处理方法、系统及数据处理系统，以实现降低网络负担。具体技术方案如下：

一种任务处理方法，应用于与存储系统通信连接的任务处理系统中，所述任务处理系统包括中央节点和多个处理节点，所述方法包括：

所述中央节点获得待处理任务；

所述中央节点从所述存储系统中获取与所述待处理任务对应的待处理数据；

所述中央节点将所述待处理数据拆分为多个子数据；

所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；

所述中央节点将各所述处理节点处理后的子数据进行合并。

可选的，所述方法还包括：

所述中央节点将合并后得到的数据发送到所述存储系统。

可选的，所述中央节点将所述待处理数据拆分为多个子数据，包括：

所述中央节点获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；

所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据。

可选的，在所述根据所述工作状态确定可执行任务的处理节点数量后，所述中央节点将所述待处理数据拆分为多个子数据，还包括：

确定各可执行任务的处理节点的处理能力；

所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据，包括：

所述中央节点根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。

可选的，在所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理后，所述方法还包括：

所述中央节点获得各所述处理节点进行数据处理的处理结果；

所述中央节点将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。

一种任务处理系统，与存储系统通信连接，所述任务处理系统包括中央节点和多个处理节点，所述中央节点包括：任务获得单元、数据获得单元、数据拆分单元、数据分配单元和数据合并单元，

所述任务获得单元，用于获得待处理任务；

所述数据获得单元，用于从所述存储系统中获取与所述待处理任务对应的待处理数据；

所述数据拆分单元，用于将所述待处理数据拆分为多个子数据；

所述数据分配单元，用于将所述多个子数据分配给至少一个所述处理节点进行数据处理；

所述数据合并单元，用于将各所述处理节点处理后的子数据进行合并。

可选的，所述数据拆分单元，包括：节点状态获得子单元和拆分子单元，

所述节点状态获得子单元，用于获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；

所述拆分子单元，用于将所述待处理数据拆分为所述处理节点数量的子数据。

可选的，所述数据拆分单元，还包括：处理能力确定子单元，用于在所述节点状态获得子单元根据所述工作状态确定可执行任务的处理节点数量后，确定各可执行任务的处理节点的处理能力；

所述拆分子单元，具体用于：根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。

可选的，所述中央节点还包括：处理结果获得单元和再分配单元，

所述处理结果获得单元，用于在所述数据分配单元将所述多个子数据分配给至少一个所述处理节点进行数据处理后，获得各所述处理节点进行数据处理的处理结果；

所述再分配单元，用于将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。