[发明专利]一种超密集网络中基于强化学习的资源分配方法及装置

说明书

本发明提供一种超密集网络中基于强化学习的资源分配方法及装置，能够实现网络的负载均衡，并提高网络的能量效率。所述方法包括：基于Q学习对网络的当前状态进行分析，得到使网络能量效率最大时的用户与基站的关联策略和基站的发射功率控制策略；根据得到的使网络能量效率最大时的用户与基站的关联策略进行用户与基站的关联；在用户与基站关联的基础上，根据得到的使网络能量效率最大时的基站的发射功率控制策略对网络中基站的发射功率进行控制。本发明涉及通信技术领域。

技术领域

本发明涉及通信技术领域，特别是指一种超密集网络中基于强化学习的资源分配方法及装置。

背景技术

随着移动终端的快速发展，对网络容量的需求急剧增加。部署大量小型基站，例如毫微微小区基站(BS)，微小区BS和微微小区BS可以增强网络容量。超密集网络是第五代移动通信中的一种新型网络架构，能够缩短用户与低功率基站之间的距离，提高系统容量和频谱效率。当网络架构从传统架构转向超密集网络时，也面临着诸多新的挑战，例如网络设计、资源分配和用户关联。

超密集网络中用户与低功率基站分布都十分密集，资源管理是保证其系统性能的重要因素。在传统网络中，用户关联通常基于最大信噪比实现，然而，基于最大信噪比的方法在超密集网络中可能不像传统网络那样有效。如果在超密集网络中采用该方法，则连接到用户的基站的优先级往往是高功率宏基站，这将容易导致宏基站过载并将其有限资源划分给多个用户，同时会导致小型基站的利用率低下。移动负载均衡技术可以及时有效地解决超密集网络中小区间业务量不均衡的情况，在多个小区之间平衡负载量，使未过载的邻居小区能够分担过载小区的业务负载量，平衡小区间负载，从而提高资源的利用率和用户的满意度。因此针对用户与基站的负载均衡的关联技术研究有重要意义。

目前，将强化学习应用于超密集网络的资源分配的研究很少，现有研究大多针对一个小基站对一个用户的场景，无法满足超密集网络中密集连接的情况。

发明内容

本发明要解决的技术问题是提供一种超密集网络中基于强化学习的资源分配方法及装置，以解决现有技术所存在的强化学习无法满足超密集网络中密集连接的问题。

为解决上述技术问题，本发明实施例提供一种超密集网络中基于强化学习的资源分配方法，包括：

基于Q学习对网络的当前状态进行分析，得到使网络能量效率最大时的用户与基站的关联策略和基站的发射功率控制策略；

根据得到的使网络能量效率最大时的用户与基站的关联策略进行用户与基站的关联；

在用户与基站关联的基础上，根据得到的使网络能量效率最大时的基站的发射功率控制策略对网络中基站的发射功率进行控制。

进一步地，所述基于Q学习对网络的当前状态进行分析包括：

A1，初始化Q学习算法的Q表，其中，Q表用于存储每个网络状态所采取动作的经验值，所述动作包括：用户与基站的关联策略和基站的发射功率控制策略；

A2，在当前网络状态下随机采取一个动作，并计算在当前网络状态下采取该动作后的系统能量效率；

A3，建立用于负载均衡的用户关联和网络功率控制的强化学习模型，根据建立的强化学习模型对当前网络状态下的Q表进行更新，得到下一个网络状态下的Q表，其中，强化学习模型表示为：