[发明专利]一种基于强化学习和SDN的负载均衡系统

说明书

本发明公开了一种基于强化学习和SDN的负载均衡系统，应用于各种SDN网络的负载均衡，包含一个网络信息获取模块、一个强化学习模块、一个网络管理模块。所述网络信息获取模块用于提取当前网络信息特征和生成当前奖励值并发送到强化学习模块；所述强化学习模块用于将当前的网络信息特征、奖励值、网络负载分配方式，以及历史的网络信息特征、奖励值、网络负载分配方式利用强化学习进行计算，以提高奖励值为目标，形成当前最优网络负载分配方式；所述网络管理模块用于将当前最优网络负载分配方式写入流表并下发到网络当中。本发明结合了SDN的灵活性特点和强化学习的智能性，得到当前网络负载的最优分配方式，提升整体网络的资源利用率，减小网络拥塞。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种基于强化学习和SDN的负载均衡系统。

背景技术

负载均衡技术能够将工作任务分配到多个操作单元上，让多个操作单元共同完成任务，从而能够增加网络吞吐量、加强网络数据的处理能力、提高网络的灵活性和可用性。现有的负载均衡技术主要分为静态负载均衡技术和动态负载均衡技术，静态负载均衡技术以固定方式分配任务，不考虑网络状态信息，动态负载均衡技术能够根据实时网络状态来分配任务，但其分配方式不够灵活。当前接入网络的设备越来越多，网络中数据流量持续增长，急需一种方法能够更为智能的分配网络任务，减少网络拥塞，合理利用网络资源。

发明内容

发明目的：针对以上问题，本发明提出一种基于强化学习和SDN的负载均衡系统。利用SDN的数据平面和控制平面分离的特点，灵活的对交换机进行控制，并利用强化学习算法的智能性自主学习能力，不断优化负载分配方式，从而更加灵活、更加智能地进行网络负载均衡。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种基于强化学习和SDN的负载均衡系统，包含一个网络信息获取模块、一个强化学习模块、一个网络管理模块；

所述网络信息获取模块用于利用SDN获取全局网络信息，从中提取当前网络信息特征，并按照一定规则生成当前奖励值，将提取出的当前网络信息特征和生成的当前奖励值发送到强化学习模块；

所述强化学习模块用于将从网络信息获取模块接收到的当前网络信息特征和当前奖励值进行记录，并将当前网络信息特征、当前奖励值、当前网络负载分配方式、历史网络信息特征和历史奖励值、历史网络负载分配方式利用强化学习进行计算，强化学习模块位于SDN网络的控制平面即服务器当中，以提高奖励值为目标，改变历史网络负载分配方式，形成当前最优网络负载分配方式；

所述网络管理模块用于将强化学习模块生成的当前最优网络负载分配方式写入流表并下发到网络当中。

进一步的，所述网络信息获取模块包括一个网络信息获取子模块，一个网络信息特征提取子模块、一个奖励值生成模块、一个信息发送模块；

所述网络信息获取子模块用于从SDN的数据平面网络中获取当前的网络状态信息；该模块位于SDN的控制平面，通过OpenFlow协议获取底层网络信息；

所述网络信息特征提取子模块用于从网络信息获取子模块获取的当前网络状态信息中提取当前网络信息特征，所述当前网络信息特征包含网络节点之间的流量矩阵、负载情况以及数据丢包率；

所述奖励值生成模块用于将当前网络信息特征按照一定规则生成当前奖励值；所述规则由网络管理员进行制定；

所述信息发送模块用于将所述当前网络信息特征和所述当前奖励值发送到强化学习模块。

进一步的，所述强化学习模块包含一个信息接收子模块、一个智能学习子模块和一个历史数据存储子模块；

所述信息接收子模块用于接收来自网络信息获取模块的当前网络信息特征和当前奖励值；