[发明专利]一种基于强化学习的无线网络资源分配方法

摘要

本发明属于无线网络资源分配以及强化学习领域，特别涉及一种基于强化学习的无线网络资源分配方法。该方法包括初始化步骤、状态检测步骤以及循环步骤。根据当前网络状态，获得当前状态数据；采用Q网络强化学习算法进行优化，可有效提高无线网络能效。该方法适用于无线网络资源的优化分配。

主权项

1.一种基于强化学习的无线网络资源分配方法，其特征在于：它包括以下步骤，初始化步骤：运行Q网络学习算法，即对每个s，a初始化Q(s，a)为0，其中s表示状态，a表示动作，价值函数Q(s，a)表示对状态s下动作a得到的总体期望回报的一个估计，r为t时刻此动作的立即回报，γ为折扣因子，观察当前状态s：获取当前t时刻无线网络状态数据包括，无线网络的信号干扰噪声比：其中Pi，t为接受功耗，Ii，t为t时刻网络i总干扰，N为本地噪声功耗；t时刻无线网络WN i的理论最大吞吐量：Γi，t＝B log2(1+SINRi，t)无线网络WN i的最大可达吞吐量：t时刻无线网络WN i获得的回报奖励：其中，B为指信道的带宽，SNRi为网络信号和噪声的比值，即噪声比，循环步骤：根据当前的信号干扰噪声比作为输入选择一个行为a输入并执行它，选择执行使Q(s，a)最大的行为a，接收立即回报r，观察t+1时刻新状态s′，对Q(s′，a′)按照下式更新：Q(s，a)＝r(s，a)+γ*max Q(s′，a′)状态更新：s＝s′其中α为学习速率，γ为折扣因子。