[发明专利]一种云-雾弹性光网络中的深度强化学习流量疏导方法

权利要求书

1.一种云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，其步骤如下：

步骤一：对于一个业务请求r＝(s,d,t)，通过最短路径算法计算业务请求r的最短路径；将业务请求r的业务路径和按波长切片的网络拓扑转换为图片的形式；其中，s和d分别代表源节点和目的节点，t代表业务请求r的带宽需求；

所述业务路径和按波长切片的网络拓扑转换为图片的形式的方法是：根据节点位置和链路的连通情况画出节点和链路，根据端口、收发器和放大器的占用情况用不同颜色和大小的点分别画出；按波长切片的网络拓扑的其中一个波长的图片为：首先根据给定的网络节点的坐标，用黑色的实心圆点画出节点；然后根据给定的链路的连通情况和当前波长的网络拓扑中所有链路上带宽的占用情况用不同的颜色画出链路；最后用较小的圆点表示端口和收发器，用较大的圆点表示放大器，同样地根据不同的占用情况用不同的颜色画出；业务路径的拓扑图用相同的方法画出；

步骤二：用卷积神经网络提取步骤一中所有图片的特征，并用softmax分类器进行分类，根据分类结果将业务请求分配到相应的波长；

步骤三：如果分配到的波长有可用资源，那么该业务请求成功分配，如果没有可用资源，根据首次适应方法遍历所有的波长对业务请求r进行分配，根据减少的能耗得到一个奖励值；

步骤四：每一个业务请求分配完成后，利用强化学习算法对步骤三进行评价，生成一个value值，并更新拓扑的网络状态，生成下一个业务请求的最短路径拓扑图；

步骤五：重复步骤一-步骤四，每当至少三个业务请求分配完成后，根据网络状态、动作、奖励值和value值来更新卷积神经网络。

2.根据权利要求1所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述步骤一中从源节点s到目的节点d的每条链路的带宽资源按照波长分为5部分，当业务请求来临时，选择分配到任一波长，只改变当前波长的状态，即把该业务请求分配到当前的波长，改变相应位置的端口、收发器、放大器和带宽占用的情况。

3.根据权利要求1或2所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述步骤二中卷积神经网络采用的是轻量型卷积神经网络MobilenetV3，轻量型卷积神经网络MobilenetV3把标准的卷积层分解为深度卷积和点卷积的形式：第一层卷积层的卷积核为3、步长为2、填充为1；第二层是15层的输入输出通道、卷积核、步长都已经确定的block层；第三层的卷积核为1、步长为1；第四层是卷积核为7的平均池化层；经过两层1×1的卷积层降维。

4.根据权利要求3所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，将轻量型卷积神经网络MobilenetV3提取到的特征输入softmax分类器得到动作的概率分布，概率分布越高，选择动作对应的波长的几率就越大。

5.根据权利要求3所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述轻量型卷积神经网络MobilentV3的激活函数为：其中，x表示激活函数层的输入，ReLU()是常用的激活函数；且轻量型卷积神经网络MobilentV3的最后一层没有激活函数。

6.根据权利要求1、4或5中任意一项所述的云-雾弹性光网络中的深度强化学习流量疏导方法，其特征在于，所述步骤三中可用资源为在该波长的网络拓扑中，当前业务请求对应位置的端口、收发器、放大器和带宽有空闲资源；所述首次适应方法按照波长的编号遍历所有的波长，寻找第一个有可用资源的波长进行分配；根据所分配到的波长对网络能耗造成的影响计算得到一个奖励值。