[发明专利]一种基于深度强化学习的数据中心网络负载均衡方法

权利要求书

1.一种基于深度强化学习的数据中心网络负载均衡方法，其特征在于，该方法具体包括以下流程：

步骤1：搭建虚拟的网络拓扑结构环境；

步骤2：构建以及初始化Actor网络Critic网络目标Actor网络和目标Critic网络状态s_t，定义为在时间t新到达的流的集合未完成的流的集合和已经完成流的集合将动作a_t定义为n条链路的权重

步骤3：每隔一段时间将网络中的流的信息作为s_t输入到步骤2构建的四个神经网络包括Actor网络Critic网络目标Actor网络和目标Critic网络中，进行链路权重优化问题的DDPG训练，直到达到网络的FCT理想值，即四个神经网络模型收敛，利用深度强化学习的训练目标最大化累计奖励的期望，最后从DNN中提取决策树；θ^Q表示Critic网络的参数，θ^π表示Actor网络的参数，θ^Q′表示目标Critic网络的参数，θ^π′表示目标Actor网络的参数；

计算已完成的流的奖励函数r_t，如式(1)所示：

其中，r_t表示在时间t的奖励值，也就是两个连续时间间隔的平均吞吐量之间的比率；d_f/τ_f表示已完成的流f的吞吐量，d_f和τ_f分别表示流f的大小和流完成时间FCT。

2.如权利要求1所述的一种基于深度强化学习的数据中心网络负载均衡方法，其特征在于，所述步骤3中的链路权重优化问题的DDPG训练过程的一个更新过程，具体包括以下步骤：

首先，Actor网络根据当前状态s_t输出动作a_t，当前状态s_t即在时间t新到达的流的集合未完成的流的集合和已经完成流的集合该动作会影响环境并导致新的状态S_t+1并收到奖励r_t；其次，将映射(s_t，a_t，r_t，S_t+1)存储在经验回放池中，然后从中对数据进行批次采样；对于每个样本，用目标Critic网络和目标Actor网络计算目标值y_i；通过y_i与Critic网络计算出梯度该梯度用于更新Critic网络的参数θ^Q；用更新后的Critic网络和Actor网络计算梯度来更新Actor网络的参数θ^π；最后，更新目标Critic网络θ^π′和目标Actor网络的参数θ^π′，进行下一次迭代。

3.如权利要求1所述的一种基于深度强化学习的数据中心网络负载均衡方法，其特征在于，所述步骤3中的从DNN中提取决策树的过程，具体包括以下步骤：

步骤3-1：初始化用于决策树训练的数据集，在与训练DRL智能体相同的虚拟环境中，DRL智能体与虚拟环境反复交互以收集多个轨迹，来生成初始数据集，轨迹中的状态-动作对被初始化为(S，A)；

步骤3-2：判断决策树是否收敛：若收敛，跳到第3-9步，否则进入步骤3-3；

步骤3-3：用(S，A)中的所有样本初始化生成一个单根树

步骤3-4：判断是否达到结束条件，判断决策树的叶节点数达到最大阈值或所有样本Gini指数都等于0；如果达到结束条件，则跳到步骤3-7，否则进入步骤3-5；

步骤3-5：计算树中的每个叶节点的Gini指数增益如式(2)所示：

式中，N表示节点n的样本数，a_i表示第i个样本的动作值，表示在状态s_i下DNN策略预测的值，即a_i＝π(s_i)，表示在状态s_i下决策树预测的值，即Φ_n＝0表示节点n上的所有样本都具有相同的动作；Φ_n越大，表示当前节点中的样本方差越高，在这种情况下，该节点上的样本需要进行拆分并进一步分类；

计算决策树中的每个叶节点的Gini指数增益如式(3)所示：

其中，n₁和n₂表示根据与第μ个特征关联的第v个分割点的子节点，N₁和N₂分别表示n₁和n₂的样本数；

步骤3-6：分割使Gini指数增益最大的叶节点，并更新决策树返回步骤3-4；

步骤3-7：得到决策树后，在虚拟环境中运行决策树智能体收集新的状态-动作对集合(S′，A′)；

步骤3-8：将决策树经历的状态反馈给DNN，并获得动作整合决策树的状态和DRL的行为，得到重新采样的数据集(S′，A^*)，将数据集(S′，A^*)与当前数据集(S，A)进行汇总，回到步骤3-3；

步骤3-9：部署最后一次迭代生成的决策树，用于在线的链路权重决策，以指导终端主机在可用路径之间分配流量。