[发明专利]基于机器学习的毫米波网络覆盖容量自优化方法及装置

权利要求书

1.一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，包括以下步骤：

将多小区多用户组成的毫米波网络建模为马尔科夫决策问题；其中，将每个小区作为一个独立的智能体，以小区的边缘频谱效率、平均频谱效率和探测指标作为每个智能体的状态信息；以小区的宽窄波束功率比和波束组合信息作为动作信息；

获取每个小区内每个用户的RSRP值和SINR值，基于分布式Q学习优化方法或半分布式Q学习优化方法求解所述马尔可夫决策问题，得到每个小区的最优宽窄波束功率比和最优波束组合信息。

2.如权利要求1所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，所述半分布式Q学习优化方法包括：

每个所述智能体均将Q表和状态上报至同一中央控制器；

所述中央控制器根据每个所述智能体的Q表更新三维Q表；其中，所述三维表包括每个智能体的编号、以及对应的状态和动作。

3.如权利要求2所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，当当前时刻所述半分布式Q学习优化方法生成的随机数大于等于贪婪因子时：

根据所述三维Q表为每个所述智能体的状态选择对应的动作，并将该动作反馈给每个所述智能体。

4.如权利要求3所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，根据所述三维Q表为每个所述智能体的状态选择对应的动作包括：

其中，为三维Q表为小区c在t+1时刻选择的动作，为t时刻与智能体c具有相同状态的第r个智能体执行动作时的Q值，T为与智能体c具有相同状态的智能体总数。

5.如权利要求3或4所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，当当前时刻所述半分布式Q学习优化方法生成的随机数小于贪婪因子时：

从动作库中随机选择下一时刻的动作。

6.如权利要求1所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，所述分布式Q学习优化方法包括：

其中，R_c(s_c，a_c)表示智能体c状态为s_c时执行动作a_c后的奖励值，CH_c＝n_CH/N_total，n_CH为该小区中RSRP值小于最小阈值RSRP_CH的用户个数，N_total为该小区中所有用户个数，CH_th为第一阈值，CO_c＝n_CO/N_total，n_CO为位于重叠区域中的用户个数，重叠区域的用户定义为该用户从n_OVER个相邻小区收到的RSRP值都高于阈值RSRP_CO的用户，E_c5％为小区c的边缘频谱效率，E_c50％为小区c的平均频谱效率，E_cmin为小区c的边缘频谱效率的最低阈值，w_c是平衡小区覆盖和容量的权重系数。

7.如权利要求1或5或6所述的一种基于机器学习的毫米波网络覆盖容量自优化方法，其特征在于，在分布式Q学习优化方法和/或半分布式Q学习优化方法中的目标函数为：

其中，K^b为小区b的性能指标，α^b为小区b的权重系数，为小区b内边缘用户的频谱效率，为小区b内用户的平均频谱效率，P＝{P¹,...,P^B}为所有小区的发射功率集合，P^b为小区b的发射功率，B为小区的数量，为小区b发射功率的第m种选择，Θ＝{θ¹，…，θ^B}为所有小区的波束组合信息集合，θ^b为小区b的波束组合信息，为小区b波束组合信息的第m种选择，为小区b内边缘用户的频谱效率最低阈值。

8.一种基于机器学习的毫米波网络覆盖容量自优化装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的一种基于机器学习的毫米波网络覆盖容量自优化方法。