[发明专利]一种无蜂窝毫米波大规模MIMO系统的AP开关切换方法

说明书

本发明涉及一种无蜂窝毫米波大规模MIMO系统的AP开关切换方法，属于无线通信领域。该方法包括：S1：构建无蜂窝毫米波大规模MIMO系统基于总能效的优化问题模型；S2：采用SINR感知技术构建效用函数，以实现QoS约束下总能效最大化为优化目标；S3：构建强化学习模型，包括以下步骤：S31：构建状态空间分级算法：首先对效用函数离散化分级处理，将状态空间划分为多个状态子空间；然后采用哈希检索法对状态进行哈希编码；最后根据状态空间分级算法更新状态；S32：深度决斗算法：使用步骤S31更新的状态信息在深度决斗DQN框架下学习，更新网络参数。本发明实现了满足QoS要求和最大化系统总能效要求。

技术领域

本发明属于无线通信领域，涉及一种无蜂窝毫米波大规模MIMO系统的AP开关切换方法。

背景技术

研究无蜂窝毫米波大规模MIMO网络接入点(Access Point,AP)开关策略，旨在提供最大能效的AP激活集合。然而，这是一个NP难问题，它需要评估所有M个AP的各种可能组合。AP组合的选择应适应用户位置变化或阴影衰落地理分布变化等原因引起的场景变化，而在大多数现实环境中，这些变化发生得太快以至于无法实施相应的策略。强化学习技术起源于大数据分析，是一种非常有前途的数据驱动资源管理方案，可用于在未知动态变化的网络条件下(例如：可变的信道状态信息和QoS要求)为每个状态和交互做出最佳决策。

基于深度强化学习模型，人们提出了一些新的有效节能资源管理策略。系统总能效最大化只有在满足QoS要求时才有意义，否则会降低用户体验。QoS的目标是以更有效的方式将当前流量负载映射到可用传输资源上。QoS保证的增益是以增加AP的功耗为代价的。因此系统除了需要满足每个用户的QoS要求外，还必须考虑ASO策略来控制活动AP的发射功率和硬件功耗。传统的研究采用的效用函数主要用来表征可达速率和总能效之间的权衡，但在时变环境中很难识别两者的权重边界，传统的基于强化学习框架解决能效优化问题的效用函数往往具有一组松散的QoS约束，而非严格的QoS约束。因此AP开关切换策略需要关注两者的权重设计，且需要以更严格的方式满足QoS约束。同时，由于样本是从无线网络的不同时期收集到的，在学习过程中会出现样本偏差。

因此，亟需一种能够提升无蜂窝毫米波大规模MIMO系统总能效的时变信道环境中的AP睡眠节能机制。

发明内容

有鉴于此，本发明的目的在于提供一种无蜂窝毫米波大规模MIMO系统的AP开关切换方法，以满足QoS要求和最大化系统总能效要求。

为达到上述目的，本发明提供如下技术方案：

一种无蜂窝毫米波大规模MIMO系统的AP开关切换方法，具体包括以下步骤：

S1：构建无蜂窝毫米波大规模MIMO系统基于总能效的优化问题模型；

S2：采用SINR感知技术构建效用函数，以实现QoS约束下总能效最大化为优化目标；

S3：构建强化学习模型，包括以下步骤：

S31：构建状态空间分级算法：首先对效用函数离散化分级处理，将状态空间划分为多个状态子空间；然后采用哈希检索法对状态进行哈希编码；最后根据状态空间分级算法更新状态；

S32：深度决斗算法：使用步骤S31更新的状态信息在深度决斗DQN框架下有效地学习，更新网络参数。