[发明专利]一种超密集网络中基于强化学习的资源分配方法及装置

权利要求书

1.一种超密集网络中基于强化学习的资源分配方法，其特征在于，包括：

基于Q学习对网络的当前状态进行分析，得到使网络能量效率最大时的用户与基站的关联策略和基站的发射功率控制策略；

根据得到的使网络能量效率最大时的用户与基站的关联策略进行用户与基站的关联；

在用户与基站关联的基础上，根据得到的使网络能量效率最大时的基站的发射功率控制策略对网络中基站的发射功率进行控制；

其中，所述基于Q学习对网络的当前状态进行分析包括：

A1，初始化Q学习算法的Q表，其中，Q表用于存储每个网络状态所采取动作的经验值，所述动作包括：用户与基站的关联策略和基站的发射功率控制策略；

A2，在当前网络状态下随机采取一个动作，并计算在当前网络状态下采取该动作后的系统能量效率；

A3，建立用于负载均衡的用户关联和网络功率控制的强化学习模型，根据建立的强化学习模型对当前网络状态下的Q表进行更新，得到下一个网络状态下的Q表，其中，强化学习模型表示为：

其中，t表示迭代次数，Q(s^t,a^t)表示第t次迭代后的Q表，s^t和a^t分别表示第t次迭代后的网络状态和动作，α表示学习率，β表示折扣因子，α和β取值均在0到1之间，R(s,a)表示在网络状态s和动作a下的网络能量效率，A表示下一次迭代的动作集，b表示下一次迭代的动作，Q(s^t+1,b)表示第t+1次迭代后的Q表，s^t+1表示第t+1次迭代后的网络状态；

A4，返回重复执行A2、A3，直到当前迭代次数达到最大的迭代次数。

2.根据权利要求1所述的超密集网络中基于强化学习的资源分配方法，其特征在于，网络能量效率为网络系统总容量与总功耗的比值。

3.根据权利要求1所述的超密集网络中基于强化学习的资源分配方法，其特征在于，网络能量效率表示为；

其中，f(x,p)表示网络能量效率，x表示用户与基站的关联状态，p表示基站的发射功率，U表示用户集，B表示基站集合，x_ij表示第i个用户和第j个基站的关联状态，c_ij表示第i个用户和第j个基站间无线信道的容量，U_c(x,p)表示系统总功耗。

4.根据权利要求1所述的超密集网络中基于强化学习的资源分配方法，其特征在于，每个基站的用户连接数小于K_j，其中，K_j表示基站j最大的连接数；

每个基站的发射功率小于其中，表示基站j最大的发射功率。