[发明专利]基于机器学习的毫米波网络覆盖容量自优化方法及装置

说明书

本发明公开了一种基于机器学习的毫米波网络覆盖容量自优化方法及装置，将多小区多用户组成的毫米波网络建模为马尔科夫决策问题；获取每个小区内每个用户的RSRP值和SINR值，基于分布式Q学习优化方法或半分布式Q学习优化方法求解马尔可夫决策问题，得到每个小区的最优宽窄波束功率比和最优波束组合信息；本发明考虑了毫米波的阻塞特性，将多小区毫米波网络的覆盖容量优化问题建模为马尔可夫决策问题，再通过分布式Q学习优化方法或半分布式Q学习优化方法，优化调整宽窄波束的功率比和波束组合信息，进而达到自动实现网络覆盖和容量的最佳平衡，提高了网络系统的运行效率。

技术领域

本发明属于毫米波网络优化技术领域，尤其涉及一种基于机器学习的毫米波网络覆盖容量自优化方法及装置。

背景技术

高频毫米波的波束赋形技术与传统的LTE或者5G低频(低于6GHz)采用数字波束赋形不同，高频采用数字+模拟的方式实现波束赋形。天线的间隔需要考虑波长，因为毫米波的波长较短，所以在有限的空间内可以配置较多的天线，实现大规模MIMO系统。在常规的数字波束赋形系统中，射频RF链路的数量和天线数量相同。但是，当天线数量很大的时候，采用和天线相同数量的RF链路成本太高，因此必须限制RF链路的数量。解决方案就是采用数字+模拟的混合波束赋形方式。

毫米波基站采用宽波束轮流发送的方式传输系统消息，同时提供小区的参考信号(SSB)，也就是说小区的多个宽波束提供的覆盖范围代表了小区的覆盖范围。毫米波UE侧也有多个接收波束，采用波束轮流接收的方式选择合适的波束。宽波束的设计有多种方式，其中比较典型的是水平方向N个波束，垂直方向1个波束，例如，N＝8个Beam分别采用1个模拟码本各自赋形，合起来构成了小区的一种覆盖场景，如果要满足不同的覆盖场景，则每个覆盖场景都需要1套由N＝8个码本组合而成的码本组。假如，8个SSB中的前7个以窄波束的形式向不同水平方向发射，最后一个SSB以宽波束的形式在整个小区覆盖范围发射。

在无线场景中，小区间重叠覆盖区域，用户通常会接收到多个小区的干扰信号，影响了整个系统的容量。而在小区边缘的用户通常会接收不到足够网络信号，在信号覆盖上会形成空洞。因此，覆盖范围与容量优化通常是两个对立的问题。对于毫米波网络，由于波长短导致的路损大，以及传播路径易受障碍物遮挡的特性，使得毫米波网络的覆盖容量优化受到限制，难以掌握网络的覆盖范围与容量的平衡。

发明内容

本发明的目的是提供一种基于机器学习的毫米波网络覆盖容量自优化方法及装置，采用调整宽窄波束的功率比和波束组合信息，以实现网络覆盖和容量的最佳平衡。

本发明采用以下技术方案：一种基于机器学习的毫米波网络覆盖容量自优化方法，包括以下步骤：

将多小区多用户组成的毫米波网络建模为马尔科夫决策问题；其中，将每个小区作为一个独立的智能体，以小区的边缘频谱效率、平均频谱效率和探测指标作为每个智能体的状态信息；以小区的宽窄波束功率比和波束组合信息作为动作信息；

获取每个小区内每个用户的RSRP值和SINR值，基于分布式Q学习优化方法或半分布式Q学习优化方法求解马尔可夫决策问题，得到每个小区的最优宽窄波束功率比和最优波束组合信息。

进一步地，半分布式Q学习优化方法包括：

每个智能体均将Q表和状态上报至同一中央控制器；

中央控制器根据每个智能体的Q表更新三维Q表；其中，三维表包括每个智能体的编号、以及对应的状态和动作。

进一步地，当当前时刻半分布式Q学习优化方法生成的随机数大于等于贪婪因子时：

根据三维Q表为每个智能体的状态选择对应的动作，并将该动作反馈给每个智能体。

进一步地，根据三维Q表为每个智能体的状态选择对应的动作包括：