[发明专利]异构蜂窝网络中基于Sarsa学习的基站休眠方法

权利要求书

1.一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，其特征在于，包括以下步骤：

根据全双工异构蜂窝网络场景建立系统能效模型；所述系统能效模型包括：

η＝ωη^UL+(1-ω)η^DL

其中，η为系统能效，ω为效率权重因子，η^UL为上行信道的总能效，η^DL为下行信道的总能效；

上行信道的总能效η^UL为异构蜂窝网络中所有用户能效之和与用户终端功耗之比，计算方式如下：

其中，K表示FBS数量，ζ_i表示基站f_i(i≥0)的状态，当基站工作时为1，休眠时为0；表示当前基站f_i(i≥0)所服务的用户集合；表示用户u到基站f_i(i≥0)之间的距离，P_UE表示用户终端的功耗，W表示系统带宽，表示用户u到基站f_i(i≥0)的信干噪比，P_CU表示用户终端的固定消耗，ξ表示功率消耗系数，P_u表示用户终端u的传输功率，表示用户u到基站f_i(i≥0)之间的路损，表示用户u受到来自基站f_i(i≥0)服务的其他用户的干扰，N₀表示高斯白噪声信道的功率谱密度；

下行信道的总能效η^DL为异构蜂窝网络中所有用户能效之和与基站总功耗之比，计算方式如下：

其中，K表示FBS的数量，ζ_i表示基站f_i(i≥0)的状态，当基站工作时为1，休眠时为0；表示当前基站f_i(i≥0)所服务的用户集合；表示用户u到基站f_i(i≥0)之间的距离，W表示系统带宽，表示基站到用户的下行信道的信干噪比；表示基站f_i(i≥0)的功率放大器的最大传输功率，且P_i^max表示FBS f_i的功率放大器的最大传输功率，φ_i表示直流到射频的转换因子；表示用户u到基站f_i(i≥0)之间的路损，表示基站f_i(i≥0)受到其他基站与用户u通信时的干扰，N₀表示高斯白噪声信道的功率谱密度；P₀表示MBS的动态功耗，且ρ₀表示MBS的负载因子，表示宏基站MBS的功率放大器的最大传输功率，φ₀表示MBS的直流到射频的转换因子；P_i表示FBS f_i的功耗，P_S表示FBS处于休眠状态时的功耗，P_A表示FBS处于工作状态时的功耗，P_const表示FBS处于工作状态时的固定功耗，P_i^max表示FBS f_i的功率放大器的最大传输功率，φ_i表示FBS的直流到射频的转换因子，ρ_i表示当前FBS f_i的负载因子，且n_i表示当前FBS f_i正在服务的用户数，表示FBS f_i的最大用户容量，ξ()表示基站的状态，当基站工作时为1，休眠时为0；n_j表示当前FBS f_j正在服务的用户数；

根据系统能效模型以及用户重关联规则构建Sarsa学习中的四个要素，包括：状态空间，动作空间，收益函数，Q值函数；

其中，所述用户重关联规则包括：当FBS进入休眠状态时，将与FBS关联的用户优先分配给附近的FBSs，若附近的FBSs关联的用户数均超过了FBS的最大负载数，则将剩余用户与MBS关联，若MBS关联的用户数超过了MBS的最大负载数，则不进行关联；

根据Sarsa学习中的四个要素开始Sarsa学习过程：从状态空间的初始状态s开始，通过贪婪算法选择动作a，系统根据动作a转移到下一个状态s'，并获得收益、更新Q值；通过不断的学习以及状态转移，得到每个状态-动作对的Q值累积回报值，直到到达终止状态，得到最优Q值；

根据最优Q值为状态空间中的每个状态选取Q值最大对应的动作作为该状态的最优休眠决策，根据最优休眠策略进行基站休眠；

基站休眠后，根据用户重关联规则对已休眠基站上一时隙中所关联的用户进行重新关联。