[发明专利]流式计算系统及其调度方法和装置

权利要求书

1.一种流式计算系统，包括：

一个或多个位于不同地域的网络超核；

一个或多个位于不同地域的数据中心，其中每个数据中心连接到相应的网络超核，数据中心之间经由网络超核进行通信；以及

一个或多个计算节点，其中每个计算节点位于相应的数据中心并归入该数据中心所连接的网络超核，每个计算节点用作计算任务的有向无环图DAG模型中的一种算子；

其中，归入同一网络超核的计算节点被分为若干组，至少一个组包含所述DAG模型中所需的所有类型的算子；并且

属于同一组的计算节点之间的通信优先级高于属于不同组但归入同一网络超核的计算节点之间的通信优先级，后者高于归入不同网络超核的计算节点之间的通信优先级。

2.根据权利要求1所述的流式计算系统，其中，归入不同网络超核的计算节点之间禁止经由网络超核互相通信。

3.根据权利要求2所述的流式计算系统，其中，归入相同网络超核但属于不同组的计算节点之间禁止经由网络超核互相通信。

4.一种用于流式计算系统的调度方法，其特征在于，所述方法包括：

根据计算节点所在的数据中心将该计算节点归入数据中心所连接的网络超核；

根据归入同一网络超核的已有计算节点的算子类型分布，确定所述计算节点的算子类型；以及

根据同一网络超核下的计算节点分组情况，确定所述计算节点归入的组；

其中，属于同一组的计算节点之间的通信优先级高于属于不同组但归入同一网络超核的计算节点之间的通信优先级，后者高于归入不同网络超核的计算节点之间的通信优先级。

5.根据权利要求4所述的方法，其中，确定所述计算节点的算子类型包括：

确定是否存在空组，其中空组是指未包含计算任务的有向无环图DAG模型中所需的所有类型的算子的组；

若存在空组，则确定所述计算节点的算子类型为所述空组中缺少的算子类型；以及

若不存在空组，则根据各组中不同类型的算子数量比例，确定所述计算节点的算子类型为比例最低的算子类型。

6.根据权利要求4所述的方法，其中，确定所述计算节点归入的组包括：

确定是否存在空组，其中空组是指未包含计算任务的有向无环图DAG模型中所需的所有类型的算子的组；

若存在空组，则将所述计算节点归入所述空组；以及

若不存在空组，则根据各组中计算节点的数量，将所述计算节点归入数量最少的组。

7.根据权利要求4所述的方法，其中，所述方法还包括：

根据每个组内计算节点的数据中心分布，调整组内的计算节点，以使得位于同一数据中心的计算节点集中分入同一组。

8.根据权利要求7所述的方法，其中调整组内的计算节点包括：

确定每个组的主数据中心，所述组的主数据中心是指所述组内大部分计算节点所位于的数据中心；以及

将组内不位于主数据中心的计算节点调整至其他组。

9.根据权利要求8所述的方法，其中确定每个组的主数据中心包括：

确定每个组内每种类型的算子的主数据中心及对应的计算节点数量，所述算子的主数据中心是指所述组内具有该算子类型的大部分计算节点所位于的数据中心；以及

将对应的计算节点数量最大的算子的主数据中心确定为所述组的主数据中心。

10.根据权利要求8所述的方法，其中将组内不位于主数据中心的计算节点调整至其他组包括：

对于组i内不位于主数据中心Mi的计算节点PE[si]，将该计算节点PE[si]与另一组j内不位于其主数据中心Mj但位于主数据中心Mi的计算节点PE[sj]相互交换。

11.根据权利要求4-10任一所述的方法，其中所述流式计算系统至少存在一个组包含计算任务的有向无环图DAG模型中所需的所有类型的算子，并且所述方法还包括：

将计算任务分配给包含有DAG模型中所需的所有类型的算子的组。