[发明专利]一种基于强化学习的网络链路性能指标异常定位方法

说明书

本发明公开了一种基于强化学习的网络链路性能指标异常定位方法，通过INT技术获取网络节点的状态信息反映链路性能状态。异常节点定位时，从环境中获取的业务流路由信息，结合用户反馈结果生成环境状态，输入到强化学习(RL)代理，得到每个交换机对应的Q值，选取最大的交换机为异常节点，并开放其INT功能，然后再输入环境状态，再定位异常节点，并进行修复，直到用户反馈所有业务流正常。同时，根据INT信息监测出开放交换机(定位的异常节点)是否为真实的异常节点，给出奖励送到经验回放池，使决策神经网络输出的Q值与交换机对应的奖励值成正相关性，使得决策神经网络更能准确定位异常节点，这样在这些异常节点上使用INT技术实时监测，不必在所有节点上使用，从而减少网络管理开销。

技术领域

本发明属于网络管理技术领域，更为具体地讲，涉及一种基于强化学习的网络链路性能指标异常定位方法。

背景技术

为了保证网络正常运行和满足网络应用的传输性能要求，网络管理系统需要及时、准确和全面地了解网络内部的运行状态，并及时排查网络故障。细粒度的网络链路性能指标能够真实反映网络内部的运行状态，因此基于网络链路性能指标的测量可以获取网络内部的运行状态。

传统网络中，网络链路性能指标的测量大多采取统计特性估计法和代数反演法。统计特性估计法只能估计出网络链路性能指标的分布，不能得到网络链路的实时性能指标，而代数反演法实现开销较大。可编程网络技术的出现为进行及时和准确的网络链路性能指标测量奠定了基础。它具有灵活的控制能力，从而有利于控制网络链路性能指标的探测行为。

近几年来，一种备受关注的网络链路性能指标测量方法是带内网络遥测(In-bandNetwork Telemetry，简称INT)，它是由Barefoot、Arista、Dell、Intel和VMware共同提出的一种新型的遥测协议，以实现细粒度的实时数据平面监测。INT技术通过在数据平面收集和报告网络内部的运行状态来实现对网络状态的监测，整个过程不需要控制平面参与，从而不会增加网络设备CPU的负担。它允许数据包查询网络设备的内部状态，这些信息中包括链路利用率、交换机内部队列长度等，通过这些信息能直观反映链路性能。

图1显示了INT的一个例子，其中一个流从源H1处出发，经由交换机sw1、sw2以及sw3到达业务目的地H2。在INT中，有三种类型的节点：INT源节点(INT Src)、INT传输节点(INT Transit)和INT接收器节点(INT Sink)。在图1示例中，流的INT源节点为H1，INT接收器为SW3，而INT传输节点为SW1和SW2。对于每个传入的数据包，INT源节点H1插入一个INT报头(INT header)，其中指定了在每跳监视的INT元数据列表，即交换机内部状态，选择要监视的开关ID和单跳时延。然后，INT传送节点SW1和SW2检查INT报头并插入指定的INT元数据(即交换机ID和单跳延迟)。INT接收器节点SW3插入其INT元数据，并将原始数据分组和INT报头/元数据分别转发至业务目的地H2和监测引擎。最后，监视引擎处理INT报头/元数据并获得网络链路性能指标，完成测量。

然而，使用INT技术获取(测量)网络链路性能指标，将INT报头和元数据栈附加到所有数据包上，这种方式仍有一些弊端：1)、网络开销问题：INT消耗的网络带宽可能很大，对于小尺寸的数据包，这种网络开销问题可能会恶化；2)、监测系统过载问题：对于数据包到达率高的流量，网络监测系统可能会过载，从而导致处理延迟增加。

上述问题有两种解决方法，1)、减少插入数据包的元数据字节数，但随着网络拓扑增大，这种方法仍然无法解决问题；2)、网络中所有节点选择性地插入元数据，这种方法搜集到的链路性能信息有限，难以监测全网状态。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于强化学习的网络链路性能指标异常定位方法，利用强化学习技术，根据业务端到端时延定位链路出现异常的网络节点，在这些异常节点上使用INT技术实时监测，从而减少网络管理开销。