[发明专利]基于栅格化用户位置自动化天线调参的新型强化学习方法

说明书

基于栅格化用户位置自动化天线调参的新型强化学习方法，用于下述场景：包括多个宏基站和微基站与多个宏用户的双层异构蜂窝网络。为了使复杂网络环境下高速移动的多个用户能够始终保持高加权和速率，提出基于栅格化用户位置自动化天线调参的新型强化学习方法。该方法包括两个步骤：(1)离线建模阶段，最大的优点在于可以减少在线学习时的时间开销和计算复杂度；(2)在线学习阶段：基于用户反馈的实时SINR值，利用所提出的新型强化学习方法，给出能使用户加权和速率R达到最大的天线参数配置。所提出的方法较传统方法而言，适用场景更接近现网情况，强化学习对于时序预测有很好的效果，同时，基于栅格化用户位置的方法更具有拓展性。

技术领域

本发明涉及一种自动化联合调整天线多个参数的方法，确切地说，是在用户移动性强的双层异构蜂窝网络中，基于栅格化用户位置信息，自动化天线调参的新型深度强化学习方法，属于无线通信技术领域。

背景技术

随着5G的普及，现网结构逐渐向密集且复杂的拓扑结构发展。随之而来的是用户对网络质量感知的不断提升，传统的网络覆盖优化方法已经很难满足高速率、低延迟的网络发展进程，而其中对网络覆盖影响较大的便是天线参数的调整。目前的天线调参还是基于传统的手动调参居多，但其缺点显而易见，例如随着新基站的部署或者周边通信环境的改变，都将极大增加在密集网络下的传统手动调参的人力成本和时间成本，更有甚者，在手动调参的过程中试错成本较高。因此实现天线参数的自动化调整迫在眉睫，唯有如此才能应对新时期不断发展的密集型复杂网络情况。

现有的一些自优化天线参数鲜有多个参数联合调整的方案，基本只调整天线下倾角一个参数，而本发明是天线下倾角、半功率水平波宽和半功率垂直波宽三个参数联合调整。即便是多个参数联合调整的现有方案，针对的应用场景基本就是静态环境、单层蜂窝网络，稍微复杂一些的便是有多个小区但是样本简单的异构网络环境，而这些对于5G网络下的现网情况而言远远不够，我们研究的场景是更加复杂且接近现实网络拓扑结构的用户高度动态情况下的双层异构蜂窝网络，正因如此，才能使本发明的方案设计更有实际应用价值。

在实际应用中，还会遇到很多传统方法难以应对的情况，例如其他小区宏基站对宏用户的干扰、本小区微基站对宏用户的干扰等等，还有宏基站覆盖范围内用户密度大且用户移动性强等等，在建模的过程中，传统的优化问题过于复杂而且会因为维数灾难等原因，训练的次数过多以至于时间开销和计算复杂度陡增。因此就需要深度强化学习方法来简化优化目标，实时预测当前时刻后的每一时刻用户状态变化情况，保证所有用户加权和速率能够保持在一个高水平下做出当前时刻天线参数的调整。与此同时还利用离线建模和在线学习结合的方法，将拓展性较好的模型抽象出来离线建模训练并保存，大大减少在线训练的负担。

针对现有方法拓展性差且未充分考虑复杂现网情况等问题，本发明提出了一种基于栅格化用户位置自动化天线调参的新型强化学习方法。

发明内容

有鉴于此，本发明的目的是提供一种基于栅格化用户位置自动化天线调参的新型强化学习方法，使复杂的网络环境下高速移动的多个用户能够始终保持高加权和速率。该发明涉及在用户移动性较强的网络覆盖区域的天线参数自优化与深度强化学习方法相结合的方案设计，该方案极大程度上减少训练时间和计算复杂度，拓展性强，并给出现网条件下天线最优参数配置的建议。

为了达到上述目的，本发明提供一种基于栅格化用户位置自动化天线调参的新型强化学习方法，用于下述场景：包括多个宏基站和微基站与多个宏用户的双层异构蜂窝网络，且用户移动性强。由于该场景比较复杂且用户的动态化变化十分频繁，传统方法做天线调参不再适用。因此，我们提出下列方法，其特征在于：所述方法包括下列两个操作步骤：

(1)离线建模阶段：

通过分析用户移动性较强的网络覆盖区域的用户位置信息以及用户反馈的信号加干扰噪声比(SINR)，将蜂窝网络做栅格化处理，通过反复快照，对每个栅格内的用户数据信息做聚类分析，并最终抽象出典型的宏基站扇区的用户位置信息模型等。