[发明专利]基于Q-learning的毫微微小区功率控制方法

权利要求书

1.一种基于Q-learning的毫微微小区功率控制方法，所述方法包括以下步骤：

S1、根据异构蜂窝网络模型，建立以最小接收信号信干噪比和最大用户发射功率为约束条件，以毫微微小区总能效为优化目标的能效优化模型；

其中，η_b表示毫微微小区b的能效；SINR_b,μ表示用户u_b,μ与小区b通信时，小区b接收到的信干噪比；U_b表示小区b内的用户集合，具体为N_b表示小区b内的用户总数，μ∈{1,2,...,N_b}；u_b,μ表示小区b中第μ个用户；W表示频谱带宽；p_b,μ表示用户u_b,μ的发射功率，表示u_b,μ的固有功率消耗；SINR_b,μ^min表示基站b能够成功解码来自u_b,μ的接收信号的最小信干噪比；p_b,μ^max表示用户最大发射功率；

其特征在于，

S2、按照Q-learning算法，根据能效优化模型，构建出毫微微小区内控制实体的功率控制动作空间、网络状态空间、以及控制实体在各个网络状态采取发射功率动作后回报的系统能效值；

所述功率控制动作空间为

其中，P_b,μ为用户u_b,μ的发射功率等级集合，用户u_b,μ的发射功率取值范围为p_b,μ^min≤p_b,μ≤p_b,μ^max，在该范围包括d_b,μ个发送功率等级，则u_b,μ的发射功率等级集合具体为毫微微小区b的发射功率向量为则毫微微小区b内的控制实体采取的发射功率动作a_b＝P_b，小区内所有用户发射功率等级的排列组合构成小区b控制实体的动作空间，且有a_b∈A_b；

所述网络状态空间为S_b；

其中，S_b包括状态s_b出现的所有可能值；毫微微小区b内控制实体的状态为s_b＝(I_b,l_b)；I_b表示小区b中N_b个用户的上行干扰向量，l_b表示小区b中N_b个用户的信干噪比系数向量；λ_b,μ用于判断实际的SINR_b,μ与SINR_b,μ^min之间的大小关系，当SINR_b,μ≥SINR_b,μ^min时，λ_b,μ＝1，否则为0；

所述控制实体在各个网络状态采取发射功率动作后回报的系统能效值表示为：

其中，表示控制实体在网络状态s_b采取发射功率动作a_b后回报的系统能效值；

S3、通过更新状态-动作值函数，寻找各网络状态下的最佳发射功率动作，从而得到最佳的功率控制策略；

所述状态-动作值函数表示为：

其中，表示在t+1时隙控制实体在网络状态s_b选择发射功率动作a_b的状态-动作值函数；表示控制实体在网络状态s_b采取发射功率动作a_b后回报的系统能效值；s'_b表示控制实体在网络状态s_b选择发射功率动作a_b后，所位于的新状态；a'_b表示网络状态s'_b下对应的发射功率动作，α表示学习效率，γ表示折扣奖赏因子；

获取最佳的功率控制策略的过程包括：

初始化网络状态，控制实体利用ε-贪婪算法确定初始网络状态下的发射功率动作；即以概率ε从功率控制动作空间中随机选择一个发射功率动作，以概率1-ε选择功率控制动作空间中的使得当前状态-动作值最大的发射功率动作；计算采取发射功率动作，得到的系统能效值；记录控制实体采取发射功率动作后，位于的新网络状态；结合状态-动作值的增量求和式，选择新网络状态下对应的最大状态-动作值，更新状态-动作值；根据最新的状态-动作值，确定初始网络状态对应的最佳发射功率动作，从而更新功率控制策略；确定新网络状态对应的最佳发射功率动作，重复上述步骤，直到执行步数等于T，返回最佳的功率控制策略。

2.根据权利要求1所述的一种基于Q-learning的毫微微小区功率控制方法，其特征在于，信干噪比SINR_b,μ的计算公式为：

其中，表示u_b,μ与B_b之间的信道增益；p_b,i表示u_b,i的发射功率；表示用户u_b,i与小区b之间的信道增益；p_m,n表示用户小区m中第n个用户u_m,n的发射功率，表示u_m,n与小区b之间的信道增益；n₀为高斯白噪声信道的功率谱密度；M表示毫微微小区的个数。