[发明专利]基于强化学习的ECN水线自适应配置方法

权利要求书

1.一种基于强化学习的ECN水线自适应配置方法，其特征在于，包括：

步骤1，将编程式交换机出端口队列分为大象流队列与老鼠流队列，大象流队列使用同一组高带宽ECN水线配置，老鼠流队列使用同一组低延迟ECN水线配置；

步骤2，利用所述编程式交换机的流表模板判断该编程式交换机出端口数据流是大象流还是老鼠流，将判断确定为老鼠流的数据流放入老鼠流队列，将判断确定为大象流的数据流放入大象流队列；

步骤3，利用两个预先训练的强化学习模型分别对应大象流队列与老鼠流队列，在编程式交换机上部署两个强化学习模型的强化学习代理，让大象流队列与老鼠流队列各使用一个强化学习代理进行各自对应强化学习模型的增量学习，通过增量学习后的各自对应的强化学习代理按大象流队列与老鼠流队列动态调整ECN水线配置，为大象流队列使用高带宽ECN水线配置，为老鼠流队列使用低延迟ECN水线配置。

2.根据权利要求1所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述步骤2中，按以下方式利用所述编程式交换机的流表模板判断该编程式交换机出端口数据流是大象流还是老鼠流，包括：

利用所述编程式交换机的流表模板生成规则提取该编程式交换机出端口数据流的流量特征，根据所述流量特征判断数据流是老鼠流还是大象流。

3.根据权利要求2所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述步骤2中，根据编程式交换机的流表模板生成规则提取数据流的源IP、源端口号、目的IP、目的端口号和协议号作为流量特征；

根据所述流量特征中的源IP、源端口号、目的IP和目的端口号进行重新表项生成和存储，并记录匹配该表项的报文数量；

若判断数据流的报文数量大于等于预设阈值，则确认该数据流为大象流；

若判断数据流的报文数量小于预设阈值，则确认该数据流为老鼠流。

4.根据权利要求3所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述预设阈值为2000。

5.根据权利要求1-4任一项所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述步骤3中，利用预先采集的离线数据通过预定的强化学习算法训练得到强化学习模型，利用训练得到的强化学习模型在所述编程式交换机上部署两个强化学习代理，一个强化学习代理模型用于自适应调整老鼠流队列的低延迟ECN水线配置，另一个强化学习代理用于自适应调整大象流队列的高带宽ECN水线配置。

6.根据权利要求5所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述预先采集的离线数据包括：当前排队长度、每个链路的输出数据速率、每个链路的ECN标记分组的输出速率、当前ECN设置、链路带宽、链路占用带宽、网络时延、队列高标记阈值、队列低标记阈值和标记概率；

其中，所述当前排队长度、每个链路的输出数据速率、每个链路的ECN标记分组的输出速率、当前ECN设置、链路带宽、链路占用带宽和网络时延作为强化学习模型的状态特征，将各状态特征的统计数据值归一化后提供给所述强化学习模型的智能体，使强化学习模型的智能体学习不同的网络环境；

所述队列高标记阈值、队列低标记阈值和标记概率作为强化学习模型的动作特征，按公式：at = {Kmax(1), Kmin(1), Pmax(1)}；

其中，Kmax表示队列高标记阈值；Kmin表示队列低标记阈值；Pmax表示标记概率；

所述强化学习模型的奖励函数r为：r=w1×T(R)+w2×D(L)；

其中，T(R)表示链路的利用率；D(L)表示队列长度；w1为链路的利用率的权重，w2为队列长度的权重，w1+w2=1。

7.根据权利要求5所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述预定的强化学习算法采用：qlearning算法、dqn算法、ddqn算法、ddpg算法中的任一种。

8.根据权利要求5所述的基于强化学习的ECN水线自适应配置方法，其特征在于，所述强化学习模型采用DDQN模型。