[发明专利]一种基于深度强化学习的数据中心网络路由方法

摘要

本发明公开了一种基于深度强化学习的数据中心网络路由方法，包括下述步骤：S1、为网络划分区域，将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器，并在其上部署代理agent；S2、建立网络的全局视图，SDN控制器建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；S3、构建面向路由的深度强化学习框架；S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径。本发明基于数据驱动的思想，将流对性能的要求转换为流对网络资源的要求；利用深度学习感知和表示高维度数据的能力发现资源的多维度特征表示，最终实现在SDN控制面为流优化地分配网络资源，实现自适应的智能路由。

主权项

1.一种基于深度强化学习的数据中心网络路由方法，其特征在于，包括下述步骤：S1、为网络划分区域，基于社团发现算法将全网划分为多个社团，一个社团作为一个区域，每个区域中节点介数最大的节点上部署一个SDN控制器负责管理该区域，各交换机节点与该SDN控制器相连，接受其下发的转发规则；S2、建立网络的全局视图，SDN控制器根据网络拓扑，建立节点的邻接矩阵，节点之间链路的资源值为缓存与带宽的复合资源；S3、构建面向路由的深度强化学习框架，深度强化学习框架包括强化学习和深度学习两部分；一方面，代理agent通过强化学习与网络进行交互，包括基于INT技术对网络进行状态的感知和奖赏的反馈，最后完成动作的下发；另一方面，agent用深度学习算法近似表示强化学习中的状态动作值函数，找到状态空间S到动作空间A的一个映射，即，agent与网络经过多次的交互后，找到实现路由优化目标的最优动作集；S4、确定路由的路径以及转发规则，SDN控制器根据agent的动作选择结果确定路径，并基于数据面可编程方法P4制定数据报、流、组流各种粒度的转发规则，并下发到各个交换机去执行。