[发明专利]异构蜂窝网络中基于Sarsa学习的基站休眠方法

说明书

本发明涉及异构蜂窝网络领域，具体涉及一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，所述方法包括：建立系统能效模型；根据系统模型、能效模型以及用户重关联规则构建Sarsa学习中的四个要素；通过Sarsa学习模型求解每个状态的最优休眠决策；本发明相比于传统的基站休眠方法采用了无模型的方法，适用于现实生活中用户分布的多态性和复杂性，并且考虑了休眠基站所服务的用户的重关联保证用户的服务连续性，提出了基于Sarsa学习的FBS动态休眠策略，最大化累积回报值，达到提升网络能效的目的。

技术领域

本发明涉及异构蜂窝网络技术域，具体涉及一种异构蜂窝网络中基于Sarsa学习的基站休眠方法。

背景技术

第五代通信技术(5G)是面向2020年以后移动通信需求而发展的新一代移动通信系统。随着5G时代的到来，移动用户数量和移动业务量的快速增长对蜂窝移动通信系统的容量提出了巨大的需求，同时，物联网、虚拟现实等应用的快速发展迫切需要移动通信系统提供差异化服务。采用小基站和宏基站重叠覆盖的异构蜂窝网络结构是应对上诉问题的重要途径，也是新一代移动通信的关键技术之一。移动互联网的快速发展给人们带来了全新的上网体验，在学习上、工作上、生活上全方位的影响着人们，由此带来的是宏基站和小基站的大量部署，然而用户分布的多态性，以及连接基站的不确定性，导致大量小基站的负载呈现一种不确定性，但是大多数小基站为了保证用户服务质量都保持在工作状态，带来的是能耗的增加。随着移动通信网络规模的增大，如何节约能源的消耗，提高网络能效已经成为网络优化的重要解决部分。

现有的基站休眠技术研究中，大多数是一种基于模型的公式推导和分析，现实世界中用户与基站的分布复杂性在简单易处理的模型中并不能很好的体现，使得模型难以在现实生活中合理应用。

发明内容

为了解决上述传统的基站休眠方法很难适应实际中基站用户数随机动态变化的问题，本发明采用双层Macro-Femto异构蜂窝网络，同时考虑基站所服务的用户数的随机动态变化、基站休眠和用户关联的相互影响，采用无模型的Sarsa强化学习方法进行基站休眠和用户关联联合优化，最大化Sarsa学习的累积回报，提供一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，能够达到提升网络能效的目的，相比于传统的基站休眠方法更符合实际中基站用户数随机的动态变化的情况。

一种异构蜂窝网络中基于Sarsa学习的基站休眠方法，包括以下步骤：

根据全双工异构蜂窝网络场景建立系统能效模型；

根据系统能效模型以及用户重关联规则构建Sarsa学习中的四个要素，包括：状态空间，动作空间，收益函数，Q值函数；

根据Sarsa学习中的四个要素开始Sarsa学习过程：从状态空间的初始状态s开始，通过贪婪算法选择动作a，系统根据动作a转移到下一个状态s'，并获得收益、更新Q值；通过不断的学习以及状态转移，得到每个状态-动作对的Q值累积回报值，直到到达终止状态，得到最优Q值；

根据最优Q值为状态空间中的每个状态选取Q值最大对应的动作作为该状态的最优休眠决策，根据最优休眠策略进行基站休眠；

基站休眠后，根据用户重关联规则对已休眠基站上一时隙中所关联的用户进行重新关联。

进一步的，所述系统能效模型包括：

η＝ωη^UL+(1-ω)η^DL

其中，η为系统能效，ω为效率权重因子，η^UL为上行信道能效，η^DL为下行信道能效。

进一步的，上行信道的总能效η^UL为异构蜂窝网络中所有用户能效之和与用户终端功耗之比，计算方式如下：