[发明专利]一种基于强化学习的舰载网络性能自优化方法

说明书

本发明公开了一种基于强化学习的舰载网络性能自优化方法，该方法包括以下步骤：1)实时对数据流量的网络状态进行监控并收集网络状态，获取大象流到来时的当前网络状态；2)识别数据流量的业务类型；3)对流表项Action字段进行统计得到大象流的业务流源/目的地址，确定调度路径集合；4)将大象流的网络状态、流量的业务类型和调度路径集合作为输入，训练深度强化学习模型；4)通过深度神经网络的计算输出全局最优路径解；5)当全局最佳路径确定后，生成新的大象流的转发路由，实现大象流的重路由。本发明根据网络当前状态和业务流量信息为大象流计算出全局最佳路径，完成对大象流的重路由，能有效提高网络资源的利用率。

技术领域

本发明涉及网络技术，尤其涉及一种基于强化学习的舰载网络性能自优化方法。

背景技术

舰船网络中，业务种类繁多，如动力监控系统，电力监控系统，损管监控系统，全舰装备保障管理系统，驾控系统等。传统网络架构中，链路利用率低下，网络难以进行有效的监管和控制，主要由于核心的网络层协议缺乏扩展，并与响应的硬件设备紧密耦合，导致网络在QoS整合，边缘用户随时接入和网络深度管理与运维方面上暴露的大量问题。网络中发生拥塞、分组丢包等现象的一个主要原因是因为，这些网络大流量没有得到很好的调度而在链路上发生了碰撞，长时间的占用了其他要经过此链路的流量的带宽资源。对于这种大量、持续传递数据的过程，人们将其形象的称之为大象流。与大象流相对的是老鼠流的概念，老鼠流是指通过网络链路进行少量、短时间的数据传递过程，其中大象流需要高带宽而老鼠流需要低延迟，这两种类型的数据流可能会产生冲突。

软件定义网络技术可以获得端到端网络流的可见性并能对流量进行有效的分析，因此能够识别大象流和老鼠流，但是只利用SDN控制器监测流量会严重增加控制器的工作量。近年来研究人员提出了多种大象流监测方法，主要包括：基于主机的检测方法、采样检测方法、聚合统计消息检测、基于分类器的检测。其中，基于主机的检测方法在终端主机上对流量进行查看，能够以较低的开销获得较高的检测效率，但是在主机上检测大象流不利于大象流的调度，从而影响整个网络的性能。采样检测方法通过使用分组采样来区分大象流和老鼠流，但是需要发送更多控制消息来通知所有相关设备，增加了系统开销。聚合统计消息检测方法通过对每个数据流的源和目标IP地址映射到二维空间，然后使用聚合请求的方式来获取统计数据，直到大象流在相对较小的区域内被隔离，能够降低带宽消耗，但是在大象流集中在某一区域内需要划分区域，增加了检测复杂度。基于分类器的检测方法在交换机和控制器上运行两个分类器来检测大象流，能够提高大象流的检测精度，但同时影响了检测效率。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于强化学习的舰载网络性能自优化方法，实现舰船网络内的大象流的监测和重路由。

本发明解决其技术问题所采用的技术方案是：一种基于强化学习的舰载网络性能自优化方法，包括以下步骤：

1)实时对数据流量的网络状态进行监控并收集网络状态，获取大象流到来时的当前网络状态；所述网络状态包括链路时延、分组丢失率、链路带宽利用率；

2)通过对流表分组头域中的ToS字段进行分析，识别数据流量的业务类型；所述业务类型包括会话类业务、流媒体业务、交互类业务和数据类业务；

3)对流表项Action字段进行统计得到大象流的源地址和目的地址，确定调度路径集合；所述路径集合决定了业务流量在网络中的所有可行路径范围。

4)将大象流的网络状态、流量的业务类型和调度路径集合作为输入，训练深度强化学习模型，获得调度路径的最优选择；

4.1)将大象流的网络状态、流量的业务类型和调度路径集合(源地址与目的地址)信息按照深度强化学习网络需要的输入格式进行整理，存入经验记忆池中；