[发明专利]一种基于图卷积神经网络与深度强化学习的负载均衡方法

说明书

本申请公开了一种基于图卷积神经网络与深度强化学习的负载均衡方法。所述基于图卷积神经网络与深度强化学习的负载均衡算法包括：获取网络状态无向图，所述网络状态无向图包括交换机的特征矩阵以及各个交换机之间的数据链路负载权值信息；获取流信息；获取训练后的DQN决策模型；将所述流信息以及所述网络状态无向图输入至所述DQN决策模型从而获取决策动作。本申请将深度强化学习与图卷积神经网络结合并应用在负载均衡算法之中，使得模型不仅能够根据状态信息做出决策，同时考虑了网络的拓扑结构作为决策的因素，使得模型能够根据更全面的网络状态做出决策，提高了模型决策的性能。

技术领域

本申请涉及SDN数据中心网络技术领域，具体涉及一种基于图卷积神经网络与深度强化学习的负载均衡方法以及基于图卷积神经网络与深度强化学习的负载均衡装置。

背景技术

随着信息技术的发展越来越快，我们已经进入了一个数据大爆炸的时代，网络中的各种例如图像、视频、文字、语音等信息数据越来越多，而大的互联网公司们为互联网上的用户们提供各种各样的服务，而这些服务产生的数据交互都需要数据中心网络的支持。数据中心网络不同对主机之间存在多条路径，由于数据中心网络的动态性，不确定性较大，负载均衡算法通过选择合适的路径路由网络中的流，使得网络的数据链路负载均衡，保证网络的稳定性。

SDN是一种新型的网络架构，其中央控制器可以掌控网络全局信息的特性非常符合数据中心网络的特征。SDN近年来被广泛应用于数据中心网络的部署，在SDN架构下，负载均衡的工作得到了很大的提升。然而，受限于计算路由路径的开销，网络流量的动态性等问题，网络中的负载均衡算法仍然具有响应慢、计算量大等问题。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本发明的目的在于提供一种基于图卷积神经网络与深度强化学习的负载均衡方法来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种基于图卷积神经网络与深度强化学习的负载均衡方法，用于SDN数据中心网络，所述基于图卷积神经网络与深度强化学习的负载均衡算法包括：

获取网络状态无向图，在本实施例中，所述网络状态无向图包括交换机的特征矩阵以及各个交换机之间的数据链路负载权值信息；

获取流信息；

获取训练后的DQN决策模型；

将所述流信息以及所述网络状态无向图输入至所述DQN决策模型从而获取决策动作。

可选地，所述获取网络状态无向图包括：

获取网络的链路信息，所述链路信息包括链路负载信息；

获取交换机的负载信息、延迟信息以及丢包率信息；

根据所述网络的链路信息以及交换机的负载信息、延迟信息以及丢包率信息生成所述网络状态无向图。

在本实施例中，交换机的负载信息、延迟信息以及丢包率信息生成交换机的特征矩阵，链路信息生成数据链路负载权值信息。

可选地，所述网络的链路负载信息包括：

获取预设时间段内的网络的各时间点的链路负载平均信息；

所述交换机的负载信息、延迟信息以及丢包率信息包括：

获取预设时间段内的网络的各时间点的负载平均信息；

获取预设时间段内的网络的各时间点的延迟平均信息；

获取预设时间段内的网络的各时间点的丢包率平均信息。

可选地，所述DQN决策模型包括三层图卷积神经网络以及两层卷积神经网络。