[发明专利]一种基于注意力机制和深度强化学习的SDN多路径路由方法

说明书

本发明属于工业互联网领域，具体涉及一种基于注意力机制和深度强化学习的SDN多路径路由方法，包括：利用SDN获取全局网络拓扑信息，并周期性采集网络中的实时链路信息和数据流量信息；计算待转发流从源到目的节点之间的多条备选转发路径；将待转发的数据流量从原本单路径承担的数据流量拆分为多条路径的网络数据流；采用基于CNN的注意力机制对多条备选转发路径的链路状态信息进行特征提取；根据提取的特征计算网络数据流的转发路径并传输。本发明将传统的多路径路由和SDN和深度强化学习结合在一起，可以满足用户对不同QoS业务流传输要求，并且在充分利用网络资源的同时也降低网络平均端到端传输时延，提升了网络性能和服务质量。

技术领域

本发明属于工业互联网领域，具体涉及一种基于注意力机制和深度强化学习的SDN多路径路由方法。

背景技术

SDN作为一种新型的网络架构受到各行各界的广泛关注，它解决了传统网络中一些无法避免的问题。SDN转发与控制分离，可以通过0penFlow协议实时获取链路信息，有利于网络的集中控制，使得控制层获得网络全局资源信息，并且根据业务数据流的需求进行统一的管理与分配，同时，集中控制还使得整个网络可以被视为一个整体，方便维护。因此，可以在工业互联网中引入SDN控制器，增加全局掌控力，利用其特性感知网络拓扑以及链路状态变化，收集当前网络实时状态信息，为实现根据不同QoS等级数据流的需求智能规划路由降低网络时延和减少网络拥塞奠定基础。

工业互联网中引入SDN控制器，由SDN控制器集中控制采集全局网络状态信息，将SDN控制器作为智能体，网络即为学习环境,将路由优化看成一个决策问题,引入注意力机制进行网络状态特征提取，再运用深度强化学习进行路由优化，当数据流到达时,可以为不同QoS等级业务流快速计算出满足其QoS要求的传输路径，降低网络传输时延，提升网络性能。

目前主流的SDN路由模块采用的基本都是最短路径算法，这也是SDN控制器默认的路由算法。然而在工业互联网中多个工厂跨域协同制造时，大量数据流会频繁在相同源、目的节点上传输，若此时所有数据包若仅仅依赖于最短路径算法，数据流很容易因为具有相同目的地址而大量涌入这条最短转发路径，会造成该链路负荷过大，造成负载不均衡，最终引起网络拥塞，继而造成数据帧丢失、时延增长和时延抖动等问题，对工业生产线造成严重的破坏，给企业带来难以估计的损失。并且在转发过程中对于所有流量均是统一处理，无视用户是否对某些流有较高实时性要求或者高安全性要求，都让所有流在那一条最短路径上转发，应充分利用次短路径，使得网络资源得到充分利用的同时，达到负载均衡。

此外也有一些支持多路径的路由协议，通过为数据流计算多条候选备用传输路径，均衡网络通信流量，进而降低网络拥塞，提升网络的吞吐量。比如传统的ECMP(EqualCost Multi-Path)算法，它是采用静态哈希的形式来进行传输路径抉择，运用胖树拓扑结构带来的多条等价路径，完成网络数据的迅速转发。但是ECMP算法没有考虑网络链路的状态在实际中是不断变化的，也并未考虑不同业务流对服务质量有不同的需求，而采用随机的哈希形式为数据流选择平分传输路径，并不能很好提升网络的性能，保障不同业务流的服务质量和降低网络端到端时延。

综上所述，现有技术问题是：

在工业互联网中多个工厂跨域协同制造时，大量数据流会频繁在相同源、目的节点上传输，若此时所有数据包若仅仅依赖于最短路径算法，数据流很容易因为具有相同目的地址而大量涌入这条最短转发路径，会造成该链路负荷过大，造成负载不均衡，最终引起网络拥塞，继而造成数据帧丢失、时延增长和时延抖动；

现有采用静态哈希的形式来进行传输路径抉择，运用胖树拓扑结构带来的多条等价路径，没有考虑网络链路的状态在实际中是不断变化的，也并未考虑不同业务流对服务质量有不同的需求，不能很好提升网络的性能和保障不同业务流的服务质量和降低网络端到端时延。

发明内容

为解决上述技术问题，本发明提出一种基于注意力机制和深度强化学习的SDN多路径路由方法，包括以下步骤：