[发明专利]基于强化学习的AP信道分配和功率控制联合优化方法

权利要求书

1.一种基于强化学习的AP信道分配和功率控制联合优化方法，其特征在于，包括以下步骤：

S1、采用集中控制的方式对AP数据进行监视获取不同AP的数据信息，并将获取的数据上传至控制器进行存储处理，控制器根据数据建立信道和功率联合优化问题模型；

S2、根据网络吞吐量优化问题，构建包括状态动作信息、奖励函数的强化学习模块；

S3、以系统吞吐量最大为目标，将获得的数据输入到强化学习中训练，利用训练后所得的最优策略实现信道和功率的联合优化系统吞吐量；

S4、判断根据最优策略调整AP工作状态的系统是否满足用户对吞吐量的需求阈值，若是则进行步骤S5，否则返回步骤S3；

S5、控制器根据最优动作策略获得使系统吞吐量函数值最大时的信道和发射功率的组合(f^*,p^*)，无线访问接入点根据该信道和功率的组合调整自身工作状态，计算系统吞吐量函数T_t(f,p)；其中，fi，pi分别表示工作和发射功率；f*，p*分别表示最优的工作信道和最优的发射功率。

2.根据权利要求1所述的基于强化学习的AP信道分配和功率控制联合优化方法，其特征在于，在步骤S1中，针对无线局域网中，吞吐量与AP信道和功率的高度相关问题，建立信道和功率联合优化模型：

其中，T_t表示在时刻t时系统吞吐量大小，B代表无线信道带宽，其中N₀表示系统热噪声功率强度，p_i表示AP_i的发射功率，g_ij表示从AP_i到用户j的信道增益，信道增益只与用户与AP之间的距离有关。

3.根据权利要求1所述的基于强化学习的AP信道分配和功率控制联合优化方法，其特征在于，在步骤S2中，构建包括状态动作信息、奖励函数的强化学习模块：

C1：S＝{s₁,s₂,…,s_n}

C2：A＝{a₁,a₂,…,a_n}

C3：r(t)＝T_t-T_t-1

C4：

C5：Q(s,a)＝R(s,a)+γmaxQ((s′,a′)|(s,a))

C6：

其中，C1为具有马尔科夫性质的网络状态空间；C2为强化学习的智能体用于调整网络状态的动作空间；C3表示在时刻t时动作策略对应的奖励；C4表示时刻t开始获得的长期累积折扣奖励，γ为折扣因子；C5表示强化学习的状态动作Q值函数；C6表示最大预期累积折扣奖励对应的策略，即最优策略。