[发明专利]一种基于流水线机制的跨中心协同任务动态规划方法

说明书

本发明公开了一种基于流水线机制的跨中心协同任务动态规划方法，其步骤包括：1)根据协同需求编排数据源和协同模型算法，配置生成跨中心协同计算任务；2)将跨中心协同计算任务按照是否会产生数据迁移行为为原则进行子任务划分，形成DAG有向无环图；3)根据DAG有向无环图，将不同数据源划分到不同子任务之中；4)当子任务T分配有数据源D时，则将子任务T发送到该数据源D所在数据中心执行；对于未分配数据源的子任务T’，则根据子任务T’的上游子任务执行情况及各数据中心资源情况，确定执行子任务T’的数据中心，然后将子任务T’发送到对应的数据中心执行。本发明实现面向复杂分析场景的跨数据中心协同任务的高效编排与执行。

技术领域

本发明涉及流水线、跨数据中心、协同计算技术领域，提出一种基于流水线机制的跨中心协同任务的动态规划方法。

背景技术

典型的交叉学科应用需要融合多学科跨领域科学数据，如黑土生态分析、大气污染治理需融合分析生态数据、大气数据、土壤数据等，这些数据分散存储于不同的数据中心，数据体量大、迁移困难，同时由于安全及隐私性考虑不能公开。传统做法往往需人工拷贝数据后进行融合分析，操作复杂且效率低下。

同时，“基于流水线机制的跨中心协同计算的编排方法与系统”(专利号：2022101459584)提出了跨中心协同任务的规划方法，但规划方法仅依据数据所在位置进行静态规划，虽提出了动态感知上下游各数据中心计算资源、存储资源、数据体量等情况进行动态规划，但没有给出具体规划方案。

本申请发明人从这一背景出发，提供了一种基于流水线机制的跨中心协同任务的动态规划方法。

发明内容

为提升跨数据中心的协同分析效率，本发明提供一种基于流水线机制的跨中心协同任务的动态规划方法，实现面向复杂分析场景的跨数据中心协同任务的高效编排与执行。

为达到上述目的，本发明采用如下技术方案：

一种基于流水线机制的跨中心协同计算任务的动态规划方法，包括以下步骤：

1)协同任务编排。用户根据协同需求编排数据源和协同模型算法，配置跨中心协同计算任务。数据中心科研人员将数据源和各模型算法注册到协同网络中；用户根据本身需求，在协同网络中查找所需的数据源、协同模型算法，进行本发明的规划处理。

2)制定任务执行计划。将跨中心协同计算任务按照是否会产生数据迁移行为为原则进行子任务划分。跨中心协同计算任务经子任务划分后会形成高层次DAG有向无环图，其中子任务作为图中节点，子任务的执行顺序作为图中边。

3)初始化子任务执行节点。根据任务执行计划策略，将不同数据源划分到不同子任务之中。子任务作为最小执行单元，当子任务包含数据源组件时，则会被分发到数据源所在数据中心执行。当子任务不包含数据源组件，则需动态规划执行节点。不同的数据源表现为不同的组件，任务的划分策略是按照Merge操作进行子任务的拆分，故不同数据源划分到不同子任务；因为如果两个数据源在一个子任务中，必须有Merge操作才能实现。

4)动态规划子任务执行。根据上游子任务执行情况及各数据中心资源情况，动态规划子任务执行节点。

进一步地，上述方法首先针对协同任务T进行编排。设定协同网络由五个数据中心节点组成，分别为DataCenter-A、DataCenter-B、DataCenter-C、DataCenter-D、DataCenter-E。其中DataCenter-A、DataCenter-B、DataCenter-C分别注册了Data1、Data2、Data3三个数据源，数据体量分别为Size1、Size2、Size3。用户根据协同分析需求，基于Data1、Data2、Data3三个数据源完成协同任务的编排，如图1所示。