[发明专利]基于Q-学习的SDN链路抗毁方法、存储介质及系统

说明书

本发明提出一种基于Q‑学习的SDN抗毁方法，解决了软件定义网络中，当前链路抗毁技术无法兼顾降低故障链路恢复时间和减轻流表资源消耗的问题，将Q‑学习引入到抗毁优化中，并与SDN技术相结合,数据包的转发链路目标是选取最不易中断的链路路径，Q‑学习可自主的与环境进行交互,通过设置参数,找到最不易发生链路中断的备份路径，不需为所有流表添加备份路径，但能在链路发生故障时提供更加合理的备份路径，减少链路中断，降低故障链路恢复时间，减轻流表资源消耗；而且所述的系统将整个控制层模块化处理，便于分工与合作；在网络链路抗毁优化层面，能够使网络重构时延减小，网络抗毁恢复快，可防止数据的丢失。

技术领域

本发明涉及网络抗毁性能优化的技术领域，更具体地，涉及一种基于Q-学习的SDN链路抗毁方法、存储介质及系统。

背景技术

网络的抗毁性能优化是许多通信网络需要研究的关键问题，某些链路发生故障时，如果控制器不及时进行故障处理，会导致网络节点出现严重拥塞，造成数据丢失。软件定义网络(SDN，Software Defined Network)是一种数据控制分离、软件可编程的新型网络体系架构，在SDN架构下，控制层和数据层实现了解耦，控制层的控制器对整个网络进行管理，在链路抗毁方面，逻辑集中的控制器可在链路出现问题时，更容易判断其对整网的影响，并且可以从全局网络角度进行恢复。

目前，SDN网络抗毁技术研究主要集中在路径保护机制方面，例如2018年9月21日公开的中国发明专利(公布号：CN108566298A)中公开了一种链路故障处理方法、交换机和链路故障处理系统，在该专利中，首先获取流表信息，包括正常工作所使用的第一链路，以及在发生故障时作为所述第一链路的备份链路的第二链路，然后在检测到第一链路发生故障时，上报故障信息，并从流表信息获取所述第二链路，然后基于第二链路传输数据，直至接收到重新分配的流表信息，即该方法采用了多路径备份的方案，当检测到链路故障时，将受影响的流故障转移至备份路径，这样主机的连接性可以在很短的时间内恢复，但是这种在交换机上为所有流表添加备份路径的做法会消耗大量的流表资源，可能导致交换机流表溢出。

另外，一种基于OpenFlow的段保护方案可在以太网的网络中出现单链路或接口故障时，实现快速恢复，此种方案在每跳上均计划了备份路径，而不是端到端计划备份路径，因此，可以在与故障链接相邻的本地交换机上重新计算路由，并缩短故障恢复时间；还有一种IP快速路由方案，该方案利用IP快速重路由框架来实现，许多路由协议可以利用IPFRR机制对网络故障进行恢复，IPFRR技术提前计算备用路由,在路由检测到链路故障时将流量切换到备用路径,在路由完成重新收敛期间，一直使用事先确定的备用路由指导转发,这样流量中断时间将被缩短。

除上述SDN网络抗毁技术研究基于路径保护机制方面之外，还存在一个最基本的常态，即目前大部分控制器在转发数据的路径选择方面均基于最短路径算法，在链路故障时，若数据量较小，则最短路径算法进行链路恢复的速度很快，然而，当数据量较大且故障发生时，如果所有的数据包传输均使用最短路径算法进行恢复，某些链路很可能会出现网络拥塞，造成数据丢失，因为最短路径算法并没有能够考虑到链路的时延和带宽等影响因素。在最短路径算法中，路径的最大带宽其实是受路径中的带宽最小的链路制约。同理，使用最短路径算法后的路由时延也很可能被某条时延极差的链路影响。

发明内容

为解决在软件定义网络中，当前链路抗毁技术无法兼顾降低故障链路恢复时间和减轻流表资源消耗的问题，本发明提供一种基于Q-学习的SDN链路抗毁方法及系统，不需为所有流表添加备份路径，但能在链路发生故障时提供更加合理的备份路径，减少链路中断，降低故障链路恢复时间，减轻流表资源消耗，提高网络抗毁性。

为了达到上述技术效果，本发明的技术方案如下：

一种基于Q-学习的SDN链路抗毁方法，至少包括：

S1.获取网络拓扑，统计链路状态信息，根据链路状态信息，获得每一段链路的中断概率；