[发明专利]一种基于强化学习的网络链路性能指标异常定位方法

权利要求书

1.一种基于强化学习的网络链路性能指标异常定位方法，其特征在于，包括以下步骤：

(1)、构建一个强化学习代理

所述强化学习代理与控制器、底层网络设备组成基于用户体验的网络遥测闭环控制系统；

底层网络设备为组成网络的交换机，并作为强化学习的环境，控制器负责将强化学习代理的决策转换为网络操作，并发送相应的控制指令给环境，进而引起环境状态转移；所述决策为开放一个交换机的INT功能，所述网络操作为开放对应交换机INT功能的控制指令，所述环境状态变化是对应交换机INT功能开放后对异常节点进行的修复引起环境状态的改变；

所述强化学习代理由一个终端服务器担任，为自适应管理底层网络设备功能开放的智能决策系统，包括决策神经网络、动作过滤模块、经验回放池三个部分；

所述决策神经网络的输入为环境状态，将环境中获取的业务流路由信息，结合用户反馈结果即哪些业务流存在问题生成环境状态；

(2)、异常节点定位

强化学习代理以离散时间步即定位时隙与环境交互，在每个定位时隙中，进行一次异常节点定位：

2.1)、初始化网络，不开放任何一个交换机INT功能，在不选择任何网络操作即不开放任何一个交换机INT功能情况下得到的环境状态s₀输入到决策神经网络，得到Q值向量Q₀，包括n个Q值，分别对应开放对应交换机的Q值，Q值向量Q₀送入动作过滤模块中，动作过滤模块选择Q值向量Q₀中最大的Q值对应的交换机作为异常节点，并发出对应的网络操作a₁即开放对应交换机INT功能的控制指令给环境，进而引起环境状态s₀转移至环境状态s₁，将时刻t设置为1；

2.2)、对于时刻t，将选择网络操作a_t后的环境状态s_t输入到决策神经网络，得到Q值向量，表示为Q(s_t,a_t)，包括n个Q值，分别对应开放对应交换机的Q值，Q值向量Q(s_t,a_t)送入动作过滤模块中，动作过滤模块选择Q值向量Q(s_t,a_t)中最大的Q值对应的交换机：如果该交换机已开放过INT功能，则选择次大的Q值对应的交换机，如果还是已经开放过INT功能，则进一步选择下一个次大的Q值对应的交换机，直到选到没有开放过INT功能的交换机为止，选择的交换机作为异常节点并发出对应的网络操作a_t+1即开放对应交换机INT功能的控制指令给环境，并通过INT信息监测出该异常节点，若为真正的异常节点，并修复该异常节点，进而引起环境状态s_t转移至环境状态s_t+1，若不是真正的异常节点，则进一步选择下一个次大的Q值对应的交换机作为异常节点，然后发出对应的网络操作a_t+1即开放对应交换机INT功能的控制指令给环境，再进行监测、修复或进一步选择、监测、修复，直到修复后，引起环境状态s_t转移至环境状态s_t+1；

2.3)、对于时刻t，交换机INT功能开放后，代理通过数据包中收集的INT信息计算本次网络操作的奖励r_t，构建一条训练数据s_t,a_t,r_t；

对于奖励r_t，其根据以下公式计算得到：

其中，v是选择网络操作a_t后，通过流经对应交换机的数据包中携带的INT信息监测出该交换机是真正的异常节点，修复该交换机后恢复的业务流数量，m表示连续监测出该交换机不是真正的异常节点的次数；

训练数据s_t,a_t,r_t送到经验回放池中；

2.4)、判断网络中是否N个对应交换机是否都开放，如果都开放，则异常节点定位结束，否则进一步判断网络中有无网络链路性能指标异常，如果没有异常，则异常节点定位结束，如果有异常，则环境状态转移环境状态s_t+1，t＝t+1，返回步骤2.2)，继续定位异常节点；

2.5)、经验回放池中训练数据s_t,a_t,r_t数量达到设定的数量D时，从经验回放池中采样部分数据更新决策神经网络的参数，使决策神经网络输出的Q值与交换机对应的奖励值成正相关性，所述的部分数据根据具体情况确定；

异常节点定位结束后等待下一个定位时隙到来，然后执行步骤2.1)～2.5)，对定位节点，并更新强化学习代理的决策神经网络参数。

2.根据权利要求1所述的基于强化学习的网络链路性能指标异常定位方法，其特征在于，所述用户反馈结果根据用户满意度确定：将用户满意度映射为0、1，当用户满意度为0即不满意时表示当前业务流存在时延问题，该业务为问题业务，当用户满意度为1即满意时表示当前业务流不出存在时延问题，该业务不是问题业务；

所述环境状态是维度为n*(2n+2)大小的矩阵，n为网络中所有业务流路由路径所经过的网络节点即交换机的总数，对交换机按照1到n进行编号，矩阵的行号表示交换机编号，第i行第1列表示交换机i上流过的业务数量，第i行第2列表示流经交换机节点i的业务中，是否有问题业务，1表示有，0表示无，第3至(n+2)列表示流经该交换机i的业务流的源节点，若其中一条业务的源节点是交换机k，则对应的第i行第k+2列为1；第(n+3)至(2n+2)列表示流经交换机i的业务流的目的节点，若其中一条业务的目的节点是交换机k，则对应的第i行第k+n+2列为1。