[发明专利]一种基于强化学习的异构网络资源分配方法

说明书

本发明公开了一种基于强化学习的异构网络资源分配方法，首先在每个基站部署DNN框架，该框架基于ADMM算法，并将信道信息当作网络的权重；根据基站所得到的数据，即当前的用户关联信息、平均干扰功率，给出当前状态下最佳的资源分配策略；将每个基站视为独立主体，基站的状态被作为建模环境；若干代理程序观察同一异构网络环境并采取行动，同时代理程序通过环境的奖励相互沟通；代理商根据奖励调节政策；本发明提供的资源分配方法基于深度学习网络，无需全部CSI信息，即可给出资源分配方案，同时考虑了频谱效率，将频谱效率函数设置为代理的奖励，可以在保证系统吞吐量的同时保证频谱效率。

技术领域

本发明涉及无线通信技术领域，主要涉及一种基于强化学习的异构网络资源分配方法。

背景技术

随着移动设备的快速增长和物联网的出现，下一代无线网络面临着应对无线应用激增的巨大挑战。最有前途的解决方案是使用具有各种传输功率和覆盖范围的微微小区和毫微微小区来增强现有的蜂窝网络。这些异构网络（HetNet）可以将用户设备（UE）从宏基站（MBS）转移到微微基站（PBS），它们的传输功率和覆盖范围不同。此外，为了实现异构网络的高频谱效率，PBS可以重复使用MBS并与MBS共享相同的信道。因此，异构网络被认为是增加未来无线通信系统容量的好策略。此类异构网络中存在一些优化问题，例如频谱分配和资源分配。最近一些研究提出了新方法，例如博弈论方法，线性规划方法和马尔可夫逼近策略。但是，这些方法需要几乎完整的信息，而这些信息通常可能不可用。因此，对于上述方法而言，在没有此类完整信息的情况下实现最佳解决方案具有挑战性。

发明内容

本发明针对异构蜂窝网络中的下行资源分配问题提出了一种动态资源分配方案。具体的为基站提供动态的功率分配和信道分配策略。为了提高异构蜂窝网络中的频谱效率、能源效率，首先基于深度神经网络（DNN）的优化框架，该框架由一系列乘数交替方向方法（ADMM）迭代过程组成，使信道状态信息(CSI)成为学习的权重。并应用深度强化学习(DRL)框架，得到在频谱效率（SE），能源效率（EE）的资源分配方案。

一种基于强化学习的异构网络资源分配方法，其特征在于，在一个具有M个基站和N个移动用户的异构网络的下行链路中，宏基站MBS有个，微基站PBS有个，且满足；

设定表示基站m与用户n之间的关联关系，表示基站m与用户n关联；表示基站m与用户n无关；

设定表示频谱状态，当用户n与子载波k上的基站m相关联时，频谱状态使用以下规则确定：表示用户n使用子载波k；表示用户n不使用子载波k；

设定表示用户n与基站m在子载波k上的传输功率；具体如下：

表示每个小区基站的总发射功率应该在预设功率限制之下；

采用块衰落模型表示时隙t中用户n到基站m的下行链路信道增益如下：

其中，表示包括路径损耗和对数正态阴影在内的大尺度衰落分量，遵循Jakes衰落模型；将小尺度瑞利衰落分量表示为一阶高斯-马尔可夫过程：