[发明专利]基于强化学习的ECN水线自适应配置方法

说明书

本发明公开了一种基于强化学习的ECN水线自适应配置方法，属数据通信领域。方法包括：步骤1，将编程式交换机出端口队列分为大象流队列与老鼠流队列，大象流队列用同一组高带宽ECN水线配置，老鼠流队列用同一组低延迟ECN水线配置；步骤2，用编程式交换机的流表模板将出端口数据流分流为老鼠流与大象流，并放入对应的队列；步骤3，用两个预先训练的强化学习模型部署两个强化学习代理，对大象流队列与老鼠流队列各用对应的强化学习代理进行增量学习，用增量学习得到对应的强化学习代理按大象流队列与老鼠流队列对应动态调整ECN水线配置。该方法能自适应调整ECN水线配置，更好适应工作负载动态变化，保证网络性能。

技术领域

本发明涉及数据通信领域，尤其涉及一种数据中心网络下基于强化学习的ECN水线自适应配置方法。

背景技术

随着云计算和 5G 等新型网络技术的迅速发展，数据中心中的网络流量呈现爆炸式增长的趋势，以 ECN（explicit congestion notification，基于显示反馈的协议）为基础的拥塞控制协议在数据中心网络中已经取得不错的效果。如何高效地配置 ECN 标记阈值是其中最关键的一部分。在广泛应用的基于ECN的拥塞控制方案中，标记阈值是实现高带宽和低延迟的关键。然而，由于高速生产网络中的流量动态，使用静态ECN很难保持持久的性能。

大流量数据传递通常称为大象流，是指通过网络链路进行大量的，持续的数据传递的过程，如虚机的迁移，数据的迁移，MapReduce等都属于大象流；小流量数据传递通常称为老鼠流，是指通过网络链路进行少量的，短时间的数据传递过程，如发邮件，看网页，聊微信这些都是属于老鼠流；也可以这样理解，在数据中心中，整体趋势是20%的大象流占用了80%的网络带宽，80%的老鼠流占用20%的网络带宽。在数据中心内部，要考虑如何避免大象流对老鼠流的影响，因为老鼠流代表了大部分的应用。老鼠流的流完成时间主要由延迟决定，大象流的流完成时间由吞吐量决定，短队列长度有助于减少延迟，长队列长度有助于确保吞吐量；若对于每个队列使用强化学习代理采取一套配置，不够现实，交换机支持的ECN组合数可能不够，每个队列采取一套配置对系统资源消耗过大。

现有的基于强化学习的自适应ECN调优方法，未能对数据流进行大小流区分，无法实现使不同类型的流队列自适应调整ECN水线配置，不能满足不同种类流量对于带宽和时延的要求，即无法满足大象流希望队列长度长，带宽高；老鼠流偏向于短队列，时延低的要求。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供了一种基于强化学习的ECN水线自适应配置方法，能在数据中心网络下，对复杂的数据流量区分大小流，并动态配置大小流队列ECN水线，以保证大象流高吞吐量、老鼠流低延迟的需求，进而解决现有技术中存在的上述技术问题。

本发明的目的是通过以下技术方案实现的：

一种基于强化学习的ECN水线自适应配置方法，包括：

步骤1，将编程式交换机出端口队列分为大象流队列与老鼠流队列，大象流队列使用同一组高带宽ECN水线配置，老鼠流队列使用同一组低延迟ECN水线配置；

步骤2，利用所述编程式交换机的流表模板判断该编程式交换机出端口数据流是大象流还是老鼠流，将判断确定为老鼠流的数据流放入老鼠流队列，将判断确定为大象流的数据流放入大象流队列；

步骤3，利用两个预先训练的强化学习模型分别对应大象流队列与老鼠流队列，在编程式交换机上部署两个强化学习模型的强化学习代理，让大象流队列与老鼠流队列各使用一个强化学习代理进行各自对应强化学习模型的增量学习，通过增量学习后的各自对应的强化学习代理按大象流队列与老鼠流队列动态调整ECN水线配置，为大象流队列使用高带宽ECN水线配置，为老鼠流队列使用低延迟ECN水线配置。

与现有技术相比，本发明所提供的基于强化学习的ECN水线自适应配置方法，其有益效果包括：