[发明专利]一种基于强化学习的异构网络资源分配方法

权利要求书

1.一种基于强化学习的异构网络资源分配方法，其特征在于，在一个具有M个基站和N个移动用户的异构网络的下行链路中，宏基站MBS有个，微基站PBS有个，且满足；

设定表示基站m与用户n之间的关联关系，表示基站m与用户n关联；表示基站m与用户n无关；

设定表示频谱状态，当用户n与子载波k上的基站m相关联时，频谱状态使用以下规则确定：表示用户n使用子载波k；表示用户n不使用子载波k；

设定表示用户n与基站m在子载波k上的传输功率；具体如下：

表示每个小区基站的总发射功率应该在预设功率限制之下；

采用块衰落模型表示时隙t中用户n到基站m的下行链路信道增益如下：

其中，表示包括路径损耗和对数正态阴影在内的大尺度衰落分量，遵循Jakes衰落模型；将小尺度瑞利衰落分量表示为一阶高斯-马尔可夫过程：

其中是独立的且具有单位方差的均匀分布的圆对称复高斯随机变量；，其中是第一类零阶贝塞尔函数，是最大多普勒频率；

当不同小区中的用户分配相同的子载波时遭受到的小区间干扰ICI如下表示：

其中表示基站m在子载波k上服务的用户n受到的小区间干扰；表示在子载波k上基站m'到用户n'的发射功率；是在子载波k上从基站m'到用户n的信道增益的平方；当时，由基站m在子载波k上服务的用户n的信号干扰加噪声比如下：

其中是从基站m到用户n的加性高斯白噪声的幂；当基站m的用户n和基站m' 的用户n'同时被分配了子载波k时，将干扰基站m的用户n，且；

步骤S1、针对每个基站部署DNN框架，所述DNN框架基于ADMM算法，并将信道信息CSI作为异构网络权重；根据基站所得用户关联信息、平均干扰功率，给出当前状态下最佳的资源分配策略；具体地，

频谱效率目标优化函数如下：

能源效率目标优化函数如下：

基于ADMM算法解决所述频谱效率目标优化函数，增广拉格朗日函数如下：

其中，代表拉格朗日乘数，是惩罚参数；此时，所述频谱效率目标优化函数表示为：

通过分别对求偏导找到的最佳解；

步骤S2、将每个基站视为独立代理，基站的状态被作为建模环境；若干代理程序观察同一异构网络环境，并采取行动，同时代理程序通过环境的奖励相互沟通；代理商根据奖励调节政策；具体地：

状态集S：由个状态组成，包括；所述代理程序观察到的用于表征异构网络环境的状态包括用户关联信息和干扰功率，则异构网络状态表示为：；

动作集A：根据当前状态，代理基于决策策略π在处采取动作；该动作包括选择子载波和相应的传输功率；则将动作表示为；

奖励：采取行动后，代理程序计算环境的回报；将能源效率函数定义为系统模型中的奖励：

设计一个基于DNN的优化框架，结合Q学习以生成策略π；其中所述基于DNN的优化框架的输入是观察到的状态集S，基于DNN的优化框架的输出是动作集A中的所有可执行动作；每个状态动作对都有对应的Q值；每个步骤都会选择在每个状态下获得最大Q值的动作，具体如下表示

根据Q学习算法，通过以下公式更新Q值：

其中和分别是学习率和折扣因子；表示下一状态，表示在状态下采取行动后获得的报酬，表示状态下的可执行行动，为可执行行动集；表示状态下的Q值，表示更新后的Q值；表示状态下的可执行动作集合中的最大Q值；每一个代理中的损失函数可以表示为：

其中表示目标网络的网络参数，表示在线网络的网络参数；将信道增益的平方以及加性高斯噪声作为第l层的网络参数，其中代表ADMM算法第l次迭代；

使用贪心策略从在线网络中选择动作，目标网络是在线网络的副本，但网络参数在迭代中固定不变；目标网络的网络参数每经过一次迭代后，替换为在线网络中的网络参数。