[发明专利]面向微小蜂窝基站的自适应功率分配系统、方法和介质

权利要求书

1.面向微小蜂窝基站的自适应功率分配方法，其特征在于，包括如下步骤：

每个小基站收集其对应的服务用户受到的干扰信息，小基站检测到的干扰信息随着无线信道和环境变化，对变化，所有小基站在每个时隙同时进行协调决策；

S1、搭建决策模型，在模型中，小基站作为实体自主地感知周围干扰，并为其服务用户分配发射功率，模型中包括虚拟agent，agent包括小基站和对应的用户设备；

S2、小基站的协调决策对应agent的动作，连续动作向量构成动作空间，采用奖励来评价动作，所有agent同时采取行动，获得的所有即时奖励构成奖励空间；奖励反馈用于优化小基站的协调决策，同时奖励反馈用于优化agent的动作：

S3、在模型中搭建MARL框架来优化策略，策略为奖励对动作、协调决策的反馈过程；

自治网路包括一组为的SBS，SBS在相同的频谱上工作，将系统带宽B划分为R个资源块(RB)，其中每个SBS拥有相同数量的RB，并且RB的带宽由B_RB表示，其中SBS具有最大发射功率并功率将分配给RB；

agent包括Agent j，Agent j∈[1，...，M]，Agent j包括UE m和SBSn；

多个SBS在模型中的各个时隙做出ICIC决策，ICIC决策为基于POMDP的分布式干扰协调决策，并且每个agent根据自己的策略独立地为UE分配每个RB上功率；

模型中将自治网络中的干扰缓解问题表示为分布式部分观测马尔可夫决策过程DEC-POMDP，将DEC-POMDP扩展为多智能体层面，采用六元组表示，其中表示系统状态空间；r^j分别Agent j的状态空间，行为空间，奖励空间；和β分别代表状态转换概率和折扣因素；

连续系统状态空间描述整个系统环境，所有agent的观测空间的交集就是系统的状态空间，其中，Agent j的观测状态取决于SINR，每个分配RB的干扰表示为向量：

其中和分别表示SINR和Agent j在第i个RB上收到的干扰；

Agent j的动作在t时刻表示为动作向量：

Agent j的动作空间为是连续的动作空间，表示奖励空间用来评价动作，在时隙t时，所有agent同时采取行动，并且获得即时奖励

进行归一化处理Agent j的奖励函数：

每个agent适应一个随机策略其中是在o^j状态下执行a^j的概率，并用π来表示所有agent的联合策略π＝[π¹,…,π^M]；

POMDP中的agent根据值函数来评估和更新策略，值函数为策略在的累计折扣奖励的期望值，对于一个初始状态Agent j在联合策略下的值函数表示为

最后，计算Agent j在联合策略下的值函数；

所述计算Agent j在联合策略下的值函数的过程为：

依据根据贝尔曼方程，改写(7)为

式子(8)包括即时回报和后一状态的价函数，Agent j在联合策略下的动作值函数为：

其中，M-agent的Q-function是所有agent采取联合行动a＝[a¹,…,a^M]，值函数含有动作值函数的式子：

每个agent的目标在POMDP问题是找到一个的最优策略最大化自己的值函数，针对Agent j的POMDP问题的目标函数为：

目标函数用于最大化长期的累计折扣回报的期望；

搭建强化学习框架，在所述框架下，agent通过与环境交互来优化策略，所述框架为AC框架，AC框架为基于演员-评论家(actor-critic,AC)的MARL框架；

在AC框架中，agent包括：参与者和批评者；

参与者负责参数化策略，根据观察到的环境执行操作，并根据批评者的反馈更新策略，评论家的角色是通过处理环境中的回报和近似价值函数来评价和批评现行策略；

所述评论家用于近似状态值函数和动作值函数，并评估一项策略的好坏，对于Agentj，采用函数逼近法，通过参数更新来估计值函数，所述评论家还用于评估当前策略的质量；

所述演员是基于其当前策略执行动作，并根据评论家的反馈更新策略，应用策略梯度法，演员根据critic的状态值函数信息更新策略并计算学习速率，并收敛至最优策略。