[发明专利]一种基于深度强化学习的数据中心网络路由方法

说明书

本发明公开了一种基于深度强化学习的数据中心网络路由方法，包括下述步骤：S1、为网络划分区域，将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器，并在其上部署代理agent；S2、建立网络的全局视图，SDN控制器建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；S3、构建面向路由的深度强化学习框架；S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径。本发明基于数据驱动的思想，将流对性能的要求转换为流对网络资源的要求；利用深度学习感知和表示高维度数据的能力发现资源的多维度特征表示，最终实现在SDN控制面为流优化地分配网络资源，实现自适应的智能路由。

技术领域

本发明属于深度学习的技术领域，涉及一种基于深度强化学习的数据中心网络路由方法。

背景技术

数据中心网络(Data Center Network，DCN)在云计算基础设施中具有关键地位。研究表明，网络节点部署缓存可减少数据访问路径的平均长度并避免数据热点，提高网络吞吐率。缓存成为了一种新的网络资源后，DCN网络环境展现出链路、缓存和计算等多资源并存的新特征；另外，DCN中链路密集。然而，传统的传输与路由方法因为缺乏与新特征的深度耦合在DCN中性能低。

同时，面对多重性网络业务请求和差异化的网络资源优化目标及约束参数，动态路由决策已被证明是NP完全问题。所以，在较大网络规模中，网络状态、网络特征、度量参数海量，虽然启发式算法可获得近似优化路由，但不能满足网络的实时性要求。

深度强化学习(Deep reinforcement learning，DRL)是人工智能领域的一个新的研究热点，它以一种通用的形式将深度学习的感知能力与强化学习的决策能力相结合，并能够通过端对端的学习方式实现从原始输入到输出的直接控制。深度强化学习有很多种，如基于值函数的DRL，基于策略梯度的DRL，基于搜索与监督的DRL。同时，基于SDN的数据中心网络的优点之一是控制面可全局视野集中地优化网络资源的部署。因此，如何在SDN控制面使用深度强化学习为流量优化地分配网络资源，最终实现自适应的智能路由，是本领域技术人员研究的方向之一。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度强化学习的数据中心网络路由方法，为流量优化地分配网络资源，实现自适应的智能路由。

为了达到上述目的，本发明采用以下技术方案：

本发明一种基于深度强化学习的数据中心网络路由方法，包括下述步骤：

S1、为网络划分区域，基于社团发现算法将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器负责管理该区域，各交换机节点与该SDN控制器相连，接收其下发的转发规则；

S2、建立网络的全局视图，SDN控制器根据网络拓扑，建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；

S3、构建面向路由的深度强化学习框架，深度强化学习框架包括强化学习和深度学习两部分；一方面，代理agent通过强化学习与网络进行交互，包括基于INT技术对网络进行状态的感知和奖赏的反馈，最后完成动作的下发；另一方面，agent用深度学习算法近似表示强化学习中的状态动作值函数，找到状态空间S到动作空间A的一个映射，即，agent与网络经过多次的交互后，找到实现路由优化目标的最优动作集；

S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径，并基于数据面可编程方法P4制定数据报、流、组流各种粒度的转发规则，并下发到各个交换机去执行。

作为优选的技术方案，步骤S1中，所有与区域外的通信都通过固定的有限个边界节点进行转发，各个区域的控制器互相连接，组成扁平式的分布式控制器网络，负责区域间通信的控制。