[发明专利]一种基于逆强化学习的数据中心流量调度方法

权利要求书

1.一种基于逆强化学习的数据中心流量调度方法，其特征在于，包括如下步骤：

(1)首先基于马尔可夫决策过程对数据中心网络中流环境进行建模，并初始化逆强化学习中策略网络和奖励函数网络，将数据中心网络中具有相同移动方向的一组数据包称为网络流flow，对发送的网络流进行状态设计，对分发网络流设备的多级反馈队列阈值进行动作设计，周期性地从数据中心网络中流环境中获取状态信息，基于策略网络选择动作设置分发网络流设备的多级反馈队列阈值；

所述状态设计实现为：利用已发送但未完成传输的网络流flow信息表示，描述当前的网络环境，每个网络流flow使用{id，width，sent，duration}来描述，其中id是源IP地址、源端口、目的IP地址、目的端口号的hash值，width是网络流flow中包含数据包的数量，sent是网络流flow已发送字节数，duration是网络流flow的传输时间，t时刻网络环境状态矩阵为：

所述动作设计实现为：动作设计为多级反馈队列的阈值，对于K个队列组成的多级反馈队列,在时刻t执行的动作a_t＝{th₁,th₂,…,th_K-1},动作是一个K-1维连续空间，th₁,th₂,…,th_K-1为每个队列的阈值；

(2)收集网络环境中已经发送完成的网络流flow，利用专家算法生成专家样本，放入专家样本池中；

(3)对逆强化学习中策略网络和奖励函数网络进行对抗训练，使得策略网络根据网络环境设置多级反馈队列阈值的动作不断学习模仿专家算法中隐含的专家策略，实现根据网路环境的变化动态设置多级反馈队列阈值，达到降低平均完成时间的目的。

2.根据权利要求1所述的基于逆强化学习的数据中心流量调度方法，其特征在于，所述步骤(2)具体包括以下步骤：

(21)在网络流flow发送完成后，将网络流flow标识、网络流flow开始时间、网络流flow的发送节点、接收节点以及网络流字节数大小信息以Trace的形式收集起来，在后续生成专家样本时进行回放；

(22)采用有先验知识的多队列最小流优先算法，假设多级反馈队列的阈值已经设置，在有先验知识的场景下网络流flow总字节数大小已知，根据flow总字节数大小sz_f，按照多级反馈队列阈值为flow分配优先级，当th_p≤sz_fth_p+1时，th_p为队列p的阈值，th_p+1为队列p+1的阈值，为其分配优先级p，不同队列的优先级分配服从最小flow优先原则，同一个队列中的网络流flow按照FIFO方法调度；

(23)利用模拟器对Trace数据进行回放，根据已发送flow的总字节数，找到最优调度性能下的阈值a_F作为动作，采用的动作为固定大小的阈值，根据状态选取动作的映射作为专家策略，根据网络环境信息抽象出状态s_E，利用多队列最小流优先算法，将网络中活跃网络流flow分配不同的优先级，当flow的已发送字节数大于等于th_p小于th_p+1时，为其分配队列优先级p，改变网络的状态，同时采用核密度估计方法将固定的阈值动作a_F转化为策略动作a_E，将采用有先验知识的多队列最小流优先算法生成的状态动作对(s_E,a_E)作为专家样本存入专家样本池。

3.根据权利要求1所述的基于逆强化学习的数据中心流量调度方法，其特征在于，所述步骤(3)具体包括以下步骤：

(31)策略网络根据t时刻网络环境s_t生成动作a_t来调节多级反馈队列阈值，生成策略网络样本数据(s_t,a_t)，影响flow的队列优先级，进而导致网络环境状态的变化；

(32)奖励函数网络根据策略网络的状态s_t和动作a_t生成奖励值r_t+1，同时利用多队列最小流优先算法专家样本数据为(s_E,a_E)，s_E为网络环境，a_E为阈值动作，判别策略网络样本数据(s_t,a_t)和专家样本的差异，通过该差异对奖励函数网络进行修正训练，使得奖励函数不断接近专家样本中潜在的奖励函数；

(33)将策略网络π和奖励函数网络D的训练过程作为二者的博弈，其目标函数L_GAIL(π,D)表示为：

其中，D(s,a)表示策略网络判别状态动作对(s,a)由专家策略π_E产生的概率，当逆强化学习收敛后，奖励函数网络D准确判断生成策略网络生成的样本是否服从专家样本分布，奖励函数网络D的训练目标为最大化博弈目标函数L_GAIL(π,D)；策略网络π将奖励函数网络D(s,a)作为奖励函数，以指导模型训练，通过生成样本反馈调节奖励函数网络D，使得生成样本分布不断逼近专家策略π_E的样本分布；最后奖励函数网络拟合出专家样本中潜在的奖励函数，策略网络通过学习专家策略面对不同的网络环境自动调节多级反馈队列的阈值，以达到降低平均网络流flow完成时间的目的。