[发明专利]基于栅格化用户位置自动化天线调参的新型强化学习方法

权利要求书

1.基于栅格化用户位置自动化天线调参的新型强化学习方法，用于下述场景：

包括多个宏基站和微基站与多个宏用户的双层异构蜂窝网络，基站配置多根定向天线，宏用户配置单根全向天线；宏用户根据信号加干扰噪声比(SINR)的大小，选择与附近生成最大SINR值的宏基站相连接；微基站只服务于特定的用户，其产生的信号对于宏用户而言视为干扰，除此之外，宏用户还可能受到来自相邻小区宏基站的干扰信号；为了使复杂的网络环境下高速移动的多个用户能够始终处在高加权和速率下，提出了基于栅格化用户位置自动化天线调参的新型强化学习方法，对天线下倾角、垂直半功率波宽和水平半功率波宽三个参数进行联调，所述方法包括下列两个操作步骤：

(1)离线建模阶段：通过对宏小区及其周边环境反复快照，基于栅格化方法获得3个模型，分别是基站-用户干扰模型、路损变化模型、用户位置及对应均值SINR模型，离线建模在抽象出可拓展式模型的前提下，最大的优点在于可以减少在线学习时的时间开销和计算复杂度；(2)在线学习阶段：基于用户反馈的实时SINR值，利用所提出的新型强化学习方法，预测用户每一时刻的移动状态，不断迭代直到超参数收敛之后，给出能使用户加权和速率达到最大的天线参数配置。

2.根据权利要求1所述的方法，其特征在于：

所提离线建模阶段的具体步骤如下：

(1)通过对宏小区及其周边环境反复快照采集数据；

(2)设置栅格大小，对宏小区做栅格化处理，所有栅格位于同一水平面上，不存在坡度。用户移动到某个栅格所含的区域时，均认为用户位于栅格中心，且每个栅格同一时间内所容纳的用户数目无上限要求；

(3)计算位于宏小区每个栅格中心点的用户距离宏基站的距离，以及位于该栅格内的用户相对于宏基站的俯仰角大小以及方位角大小；

(4)对每个栅格内获得的所有用户SINR值，路径损耗值，用户与基站间的干扰分别做均值处理；

(5)由(3)和(4)处理后的数据，结合栅格化的宏小区，可得到基站-用户干扰模型、路损变化模型、用户位置及对应均值SINR模型。

3.根据权利要求1所述的方法，其特征在于：

所提在线学习阶段的具体步骤如下

(1)设计强化学习模型所需的action、state、reward以及优化目标和约束条件，还有超参数的更新规则，其中state作为输入，action作为输出；

(2)初始化各参数，输入一个新的state(即各宏用户的SINR值的一个集合)；

(3)从当前时刻开始，根据梯度下降原则更新超参数，不断给出每一时刻的reward和action，并不断迭代R；

(4)重复(2)-(3)，直到超参数收敛；

(5)超参数收敛后，输出在该state下，使R达到最大时的n次迭代过程中，最常出现的action(即相应的下倾角、垂直半功率波宽和水平半功率波宽的一个集合)；

(6)重复(2)-(5)，直到所有的state作为输入得到相应的action作为输出；

(7)输出所有的state-action对，并输出选择各个action的state的数量，至此，完成自动化天线参数调整的所有流程。