[发明专利]多中心数据任务处理方法、装置及系统

权利要求书

1.一种多中心数据任务处理方法，其特征在于，包括：

A、采集数据任务信息；

B、根据所述数据任务信息生成数据任务模型图，对所述数据任务模型图进行切割，即对所述数据任务模型图中的所有节点分组，其中，所述数据任务模型图中的节点为各个数据任务；

C、将不同组的数据任务部署到相应的数据中心。

2.根据权利要求1所述的多中心数据任务处理方法，其特征在于，所述步骤B中，根据所述数据任务信息生成数据任务模型图包括：

生成每个节点的节点信息，所述节点信息包括：该数据任务单次计算输出数据量、处理需要的总存储量和处理需要的计算量；

生成节点之间的连接关系(边)，所述边为节点之间的计算关系及数据流向，所述边包括：数据流向的起点和终点。

3.根据权利要求2所述的多中心数据任务处理方法，其特征在于，所述步骤B中，根据所述数据任务信息生成数据任务模型图后还包括：

在所述数据任务模型图中，当第一节点输出的数据仅用于计算第二节点，合并所述第一节点和第二节点；

和/或当第一节点的输出到第二节点的输出的数据为静态数据时，合并所述第一节点和第二节点；

和/或当第一节点和第二节点之间的数据流量小于预设的第一门限，删除该两节点之间的边，当第一节点仅与第二节点连接时，同时删除所述第一节点。

4.根据权利要求2或3所述的多中心数据任务处理方法，其特征在于，所述对所述数据任务模型图进行切割包括：

按照数据任务的执行顺序将所述数据任务模型图中的节点分层；从数据量大的层开始进行切割。

5.根据权利要求4所述的多中心数据任务处理方法，其特征在于，还包括：

计算每层节点切割后的切割数据量，切割数据量为被切割的边中数据流向的起点的单次计算输出数据量之和；

根据所述切割数据量选择该层节点的切割方案。

6.根据权利要求4或5所述的多中心数据任务处理方法，其特征在于，还包括：

对每层节点切割后，计算切割后每组节点的处理需要的总存储量之和及处理需要的计算量之和；

计算每组节点对应数据中心的计算量负载度和存储量负载度，所述计算量负载度为每组节点的处理需要的计算量之和除以对应数据中心总计算量，所述存储量负载度为每组节点的处理需要的总存储量之和除以对应数据中心总存储量；

计算所述数据中心的计算量负载度两两之间的差值，得到计算量不均衡度；计算所述数据中心的存储量负载度两两之间的差值，得到存储量不均衡度；

根据所述计算量不均衡度和存储量不均衡度选择该层节点的切割方案。

7.根据权利要求1所述的多中心数据任务处理方法，其特征在于，所述步骤A之后还包括：

监控多个数据中心的不均衡度，当所述不均衡度大于预设门限时，执行步骤B。

8.根据权利要求7所述的多中心数据任务处理方法，其特征在于，所述监控多个数据中心不均衡度包括：

获取各个数据中心的当前任务处理量及其最大任务处理量，计算各个数据中心的负载度，即用数据中心的当前任务处理量除以最大任务处理量；计算所述数据中心的负载度两两之间的差值即得到数据中心的不均衡度；

和/或获取各个数据中心的CPU负荷及存储占用率，计算所有数据中心的平均CPU负荷和平均存储占用率；计算各数据中心的CPU负荷与平均CPU负荷的差值的绝对值，并将得到的绝对值求和得到数据中心的CPU负荷不均衡度；计算各数据中心的存储占用率与平均存储占用率的差值的绝对值，并将得到的绝对值求和得到数据中心的存储不均衡度。

9.一种数据任务分配装置，其特征在于，包括：

建模单元，用于根据数据任务信息生成数据任务模型图，其中，所述数据任务模型图中的节点为各个数据任务；

切割单元，用于对所述数据任务模型图进行切割，即对所述数据任务模型图中的所有节点分组；

部署单元，用于将不同组的数据任务部署到相应的数据中心。

10.根据权利要求9所述的数据任务分配装置，其特征在于，所述建模单元，用于生成每个节点的节点信息，所述节点信息包括：该数据任务单次计算输出数据量、处理需要的总存储量和处理需要的计算量；生成节点之间的边，所述边为数据任务之间的计算关系及数据流向，所述边包括：数据流向的起点和终点。