[发明专利]一种基于深度强化学习的数据中心网络负载均衡方法

说明书

本发明公开了一种基于深度强化学习的数据中心网络负载均衡方法，步骤1：搭建虚拟的网络拓扑结构环境；步骤2：构建以及初始化Actor网络Critic网络目标Actor网络和目标Critic网络步骤3：每隔一段时间将网络中的流信息输入到步骤2构建的网络中，进行链路权重优化问题的DDPG训练，直到达到网络的FCT理想值；利用深度强化学习的训练目标最大化累计奖励的期望，最后从DNN中提取决策树。本发明设计了一种高效且轻巧的数据中心负载平衡的方法；决策树更轻量、推理时间更短，从而使控制器可以更快地通知终端主机更新后的链路权重；将深度确定性策略梯度算法应用到了数据中心网络的负载均衡策略，平衡多条路径之间的流量负载。

技术领域

本发明属于计算机网络技术领域，具体涉及一种在数据中心网络实现负载均衡的方法。

背景技术

数据中心网络最常用的拓扑是多根树拓扑。这种规则的拓扑让端到端之间存在多条等价路径，从而提供了大量的对分带宽。当网络负载不均时，某些链路或路径会发生拥塞，而其他链路的利用率不高，导致网络的吞吐量降低，时延增大。因此设计合理有效的流量调度策略对于提高吞吐量敏感和时延敏感的应用性能十分关键。等价多路径(Equal-Cost Multipath Routing，ECMP)是数据中心目前最常用的负载均衡方案，在交换机本地根据数据包包头域的哈希结果为流选择相应的路径。然而，ECMP存在哈希冲突和无法适应拥塞等问题，负载均衡性能很差。为了解决ECMP的不足，近10年来出现了很多针对数据中心网络的负载均衡策略。

负载均衡策略分为主动负载均衡策略和被动负载均衡策略。主动负载均衡策略如DRB和Presto，以固定的粒度(数据包或flowcell)将流盲目地分散到不同的路径上。由于主动性和无状态行为的特性，简单且易于部署，可以用通用硬件来实现。但是，这种静态和盲目的流量分配策略无法自适应动态流量和网络拥塞，从而导致负载均衡性能下降。

被动负载均衡策略如Hedera、CONGA、FlowBender和Hermes，使用集中式控制器、交换机或者终端主机感知拥塞之后重新路由数据包、流或flowlet。尽管被动负载均衡策略的有着广泛的应用前景，但是这种调度是网络出现拥塞后进行的调度机制，网络中已经产生了拥塞或丢包，一定程度上会降低链路的利用率。并且，这些策略大多数都需要定制交换机或者修改终端主机的网络栈，增加了部署的难度。而且，被动负载均衡策略在不同场景下还需要对参数进行调整才能得到良好的性能，例如LetFlow的flowlet超时时间和FlowBender的拥塞阈值。某些策略在投入使用之前需要设置更多的参数，如Conga需要设置3个参数，Hermes需要设置14个参数。为了获得最优参数，需要花费大量人力，并且要求有应用知识或流量统计方面的专业知识。

强化学习是机器学习领域之一，可以在不确定的环境中学习策略以实现预定目标。智能体通过观察过去的环境状态和奖励，采取动作以达成累计奖励最大化。强化学习结合深度学习，形成深度强化学习(Deep Reinforcement Learning,DRL)，可以解决更复杂的问题。使用DRL来进行主动的负载均衡看起来是可行的。但是智能体为每条流进行路由决策不可避免地会导致较长的决策延迟。因为数据中心流量的大多数流量都是短流，所以大多数的流在其决策到达之前就结束了，决策变得毫无用处。并且，为了获得更好的性能，DRL智能体可能要使用具有数百万甚至数十亿个参数的大型深度神经网络模型，这就导致决策时间变得越长，情况变得更糟。

发明内容

基于现有技术及其存在的缺陷，本发明提出了一种基于深度强化学习的数据中心网络负载均衡方法，使用决策树来模仿DRL，学习和控制链路权重以实现数据中心的负载平衡。

本发明的一种基于深度强化学习的数据中心网络负载均衡方法，具体包括以下流程：

步骤1：搭建虚拟的网络拓扑结构环境；