[发明专利]基于图神经网络深度强化学习的多coflow调度方法

权利要求书

1.基于图神经网络深度强化学习的多coflow调度方法，其特征在于，包括以下步骤：

步骤1、采用深度强化学习框架建立多工作流调度模型即多coflow调度模型；所述多coflow调度模型包含深度强化学习代理、策略转换器和环境，所述环境为待调度数据中心网络；

所述深度强化学习代理由图神经网络和策略网络级联形成，其中，所述图神经网络用于计算工作流有向无环图(DAG)的全局信息和节点特征值，所述策略网络根据所述全局信息和节点特征值生成所述工作流DAG中边的调度优先级列表；

步骤2、计算待调度数据中心网络中工作流DAG中各节点所包含的节点流量及完成时间；所述工作流DAG及节点流量作为所述深度强化学习代理的初始输入状态；所述完成时间作为所述深度强化学习代理的初始奖励；

步骤3、将所述初始输入状态及初始奖励输入所述深度强化学习代理，由深度强化学习代理计算得到所述调度优先级列表，所述调度优先级列表作为所述深度强化学习代理输出的动作；所述策略转换器将所述动作作为coflow调度策略并作用于所述环境中，即根据所述coflow调度策略调度待调度数据中心网络，再计算当前调度下的工作流DAG的节点流量及完成时间，更新所述深度强化学习代理；迭代执行步骤3，直到达到最大迭代次数，完成所述深度强化学习代理的训练，从而完成多coflow调度模型的训练；

步骤4、在实际部署过程中，计算待调度数据中心网络中工作流DAG中各节点所包含的节点流量及完成时间，将工作流DAG及节点流量作为状态、将完成时间作为奖励输入到训练得到的多coflow调度模型中，得到输出的待调度数据中心网络的coflow调度策略，并根据coflow调度策略完成待调度数据中心网络的工作流调度；

所述步骤1中所述图神经网络用于计算工作流DAG的全局信息和节点特征值的过程，包括以下步骤：

步骤1.1、将工作流DAG中节点v_i的信息作为节点特征x_i，并根据节点v_i的所有子节点des(v_i)的节点特征值计算节点v_i的节点特征值attr_i；

步骤1.2、根据计算得到的特征值，计算整个工作流DAG的全局信息y，y＝f_job({attr_i,x_i|v_i∈V})，V为DAG中的节点集合，函数f_job(·)为计算全局信息的神经网络，x_i与attr_i作为函数f_job(·)的输入；

步骤1.3、将节点特征值进行排序形成节点排序，按照所述节点排序输出节点特征值及全局信息。

2.根据权利要求1所述的方法，其特征在于，函数f(·)采用两种神经网络实现，如下式所示：

其中f(·)和g(·)均为具有两个隐含层的小前馈神经网络。

3.根据权利要求1所述的方法，其特征在于，所述策略网络为带有隐藏层的前馈神经网络。

4.根据权利要求1所述的方法，其特征在于，所述步骤3中所述策略转换器将所述动作作为coflow调度策略并作用于所述环境中，即根据所述coflow调度策略调度待调度数据中心网络，具体步骤如下：

步骤3.1、从所述调度优先级列表P中，选出最高优先级，找到与之相对应的coflow即e_i，其中，M为进入端口的数量，N为出行端口的数量，表示在e_i中从端口m流向端口n的流的标准化大小值；

步骤3.2、优先调度e_i中标准化大小值最大的流计算流的完成时间并将此完成时间作为e_i的完成时间；

步骤3.3、对e_i中其余的流进行调度时，按照完成时间与的差值进行排序，优先调度差值较小的流，直到完成e_i中所有流的调度；

步骤3.4、将此优先级序号p_i从所述调度优先级列表P中删除，如果当前调度优先级列表P不为空，则执行步骤3.1；否则，调度结束。