[发明专利]基于多智能体强化学习路由策略控制路由动作的方法

权利要求书

1.一种基于多智能体强化学习路由策略控制路由动作的方法，其特征在于，包括：

训练强化学习模型，所述强化学习模型利用Q学习算法更新路由节点的决策值，并结合更新的所述决策值利用策略梯度算法更新策略参数；

根据所述路由节点转发数据包的目标节点以及所述路由节点所在通讯网络中的网络负载，利用所述强化学习模型确定策略参数；

根据所述策略参数，确定所述路由节点的传出链接；

其中，所述结合更新的所述决策值利用策略梯度算法更新策略参数，包括：

使用如下公式2更新策略参数θⁱ：

其中，θⁱ为所有状态-动作组合(s，a)对应的参数集合，用来标记状态-动作组合(s，a)的偏好值；(s，a)组成一对状态-动作组合，s表示t时刻的状态，即数据包的目标节点，a表示s状态下的动作，即数据包的传出链接；上标i、j分别表示路由节点，路由节点j为路由节点i的邻居路由节点；β为更新策略参数θⁱ的学习率；

公式2中是在t时刻下对Q^π(s，a)的估计值，Q^π(s，a)为从状态s开始，遵循策略π作出传出链接a的决策值，由利用Q学习算法更新后的决策值确定；表示对θ求导；

π(a|s，θⁱ)表示在状态s下选择动作a的概率，由策略参数θⁱ决定。

2.根据权利要求1所述的方法，其特征在于，所述强化学习模型利用Q学习算法更新路由节点的决策值，包括：

使用以下公式1更新决策值Qⁱ(s，a)：

其中，α为更新决策值Qⁱ(s，a)的学习率；γ∈[0，1]为折算系数；

为t时刻下路由节点i通过传出链接aⁱ转发数据包至目标节点s的决策值的预测量；

为t时刻下路由节点i通过选择传出链接a转发数据包而获得的及时奖励，其为数据包在路由节点i的缓存延迟与数据包在传出链接a的传输延迟之和的负数；

为在t时刻下路由节点j通过传出链接a^j转发数据包至目标节点s的决策值。

3.根据权利要求2所述的方法，其特征在于，所述π(a|s，θⁱ)表示在状态s下选择动作a的概率，由策略参数θⁱ决定，按照SoftMax函数定义如下：

其中，∑_a′expθ_sa′为遍历路由节点i所有可能的传出链接a′；

对π(a|s，θⁱ)求导为：

其中，表示路由节点i对状态-动作组合的偏好值，表示当前数据包的目标节点，表示当前数据包的传出链接。

4.根据权利要求3所述的方法，其特征在于，还包括：

利用资格迹更新策略梯度使用如下公式3：

其中，资格迹按照公式4进行更新：

其中，用来记录路由节点i过去的梯度更新痕迹；ρ为梯度的折算系数；表示策略π在t时刻的资格；

公式3中是在t时刻下对Q^π(s，a)的估计值，Q^π(s，a)为从状态s开始，遵循策略π作出传出链接a的决策值，根据公式1更新后的决策值确定。

5.根据权利要求4所述的方法，其特征在于，还包括：

利用全局反馈信号更新策略参数θⁱ，使用如下公式5：

其中，δ_t为路由节点i的全局反馈信号；(S_t，A_t)为t时刻整个网络的状态-联合动作集合；S_t为t时刻所有激活的路由节点的状态；A为S_t状态下所有激活的路由节点的联合动作；A′为S_t+1状态下所有激活的路由节点的联合动作；R_t为路由网络在t时刻所产生的全局奖励；τ_t标记t时刻作出路由动作的路由节点的集合；估计了t时刻所有被传输的数据包的总递送时间；为路由节点i的决策值，根据公式1更新后的决策值确定。