[发明专利]一种基于强化学习的无线网络资源分配方法

权利要求书

1.一种基于强化学习的无线网络资源分配方法，其特征在于：它包括以下步骤，

初始化步骤：

运行Q网络学习算法，即对每个s，a初始化Q(s，a)为0，

其中s表示状态，a表示动作，价值函数Q(s，a)表示对状态s下动作a得到的总体期望回报的一个估计，r为t时刻此动作的立即回报，γ为折扣因子，

观察当前状态s：

获取当前t时刻无线网络状态数据包括，

无线网络的信号干扰噪声比：

其中P_i，t为接受功耗，I_i，t为t时刻网络i总干扰，N为本地噪声功耗；

t时刻无线网络WN i的理论最大吞吐量：

Γ_i，t＝B log₂(1+SINR_i，t)

无线网络WN i的最大可达吞吐量：

t时刻无线网络WN i获得的回报奖励：

其中，B为指信道的带宽，SNR_i为网络信号和噪声的比值，即噪声比，循环步骤：

根据当前的信号干扰噪声比作为输入选择一个行为a输入并执行它，选择执行使Q(s，a)最大的行为a，接收立即回报r，

观察t+1时刻新状态s′，对Q(s′，a′)按照下式更新：

Q(s，a)＝r(s，a)+γ*max Q(s′，a′)

状态更新：

s＝s′

其中α为学习速率，γ为折扣因子。

2.如权利要求1所述的基于强化学习的无线网络资源分配方法，其特征在于：所述学习速率α为0.9。

3.如权利要求1所述的基于强化学习的无线网络资源分配方法，其特征在于：所述折扣因子γ为0.8。

4.如权利要求1所述的基于强化学习的无线网络资源分配方法，其特征在于：根据输入调整学习速率，当输入变化超过20％时，增加10％的学习率，反之，降低10％的学习率，实时更新Q网络状态，根据输入调整学习速率，当输入变化超过20％时，增加10％的学习率，反之，降低10％的学习率，实时更新Q网络状态。