[发明专利]基于深度强化学习的天线参数的确定方法和装置

说明书

本发明实施例提供一种基于深度强化学习的天线参数的确定方法和装置，该方法包括：基于MDT数据和小区基站工参资源数据确定天线垂直波瓣宽度和水平波瓣宽度；基于栅格化的MDT数据构成环境状态矩阵，所述栅格化的MDT数据包括用户终端分布栅格数据、用户终端RSRP栅格数据和用户终端干扰栅格数据；将环境状态矩阵输入天线参数优化模型，输出天线下倾角和方位角组合；其中，天线参数优化模型是基于样本环境状态矩阵和天线下倾角和方位角组合标签进行训练得到的，天线参数优化模型的训练网络为深度强化学习DQN网络。本发明实施例提供的方法和装置，实现了基于环境状态准确、快速实现不同用户环境分布下的天线权值参数优化。

技术领域

本发明涉及天线参数技术领域，尤其涉及一种基于深度强化学习的天线参数的确定方法和装置。

背景技术

Massive-MIMO大规模天线阵列技术的成熟为5G时代提供了更好覆盖保障和频谱效应。其可调节的多种波束赋型，能针对多种场景实现更优的波束赋型配置，有效改善用户体验。但Massive-MIMO天线权值多维可调整参数在不同用户分布场景的优化选择带来了巨大挑战。其中根据天线设备厂家权值配置具体包括：整体赋型波束的水平宽度、垂直宽度、电子方位角以及电子下倾角四个参数的调整，其权值组合优化的候选空间解达到数万种，现有塔工上站结合专家经验的传统调整方式难以适用。不同的用户分布场景对应不同的天线权值配置组合，如何能合理、科学的利用终端用户分布数据来指导权值实现自动智能优化，成为提升天线增益和用户感知的关键。

目前，现网中天线权值的优化处理主要由网优专家经验结合地理场景进行分析选择。此处理方法一方面存在重要问题遗漏，难以实现对全局最优配置方案；另一方面虽然现有一些研究利用相关算法实现天线权值参数优化，但缺乏对不同用户分布下的天线权值参数优化。

目前现有的对天线权值参数优化的方法中，包括：对天线的每一权值参数按照预设幅度进行增大和减小的双向调整，并在各调整方向下对应的网络性能指标收益；直至权值参数超过预设门限。但该方法存在网络性能指标收益存在反馈周期长，难以快速实现权值优化。同时针对多种不同用户和环境分布，难以有效实现当前天线权值参数的最佳优化。其他方法还有根据用户定位方法，获取栅格化的MR数据；根据所述栅格化的MR数据和小区的流量指标数据,获取小区的话务地图；根据所述栅格化的MR数据和所述话务地图，识别小区的覆盖场景；根据所述覆盖场景，优化单个小区的天线权值；根据所述单个小区的天线权值和遗传算法，优化区域内多个小区的天线权值。但MR数据存在用户分布信息定位不准，数据准确性差，无法准确反应某个区域的信号特征。同时遗传算法在多小区的区域调整中大量配置方案中难以收敛到最佳优化方案，迭代寻优周期长，难以准确、快速实现不同用户环境分布下的天线权值参数优化。

随着近年机器学习的兴起，对天线权值参数优化的方案有基于传播模型的仿真寻优，其中传播模型难以刻画真实的用户分布环境状态空间，无法实现针对不同用户分布下的天线权值参数优化调整。同时目前的传播模型仿真，在真实场景下，存在较大偏差，难以获得准确有效的优化配置参数。

当前还包括一种基于MR数据采用遗传算法的天线权值参数优化算法。其中，MR数据存在用户分布信息定位不准，数据准确性差，无法准确反应某个区域的信号特征。而遗传算法在多小区的区域调整中大量配置方案中难以收敛到最佳优化方案，迭代寻优周期长。综上所述，该方法难以准确、快速实现不同用户环境分布下的天线权值参数优化。

因此，现有技术不适合应用于不同用户分布下天线权值参数优化的场景。如何能充分分析用户分布环境空间与天线权值参数之间的关联性，进而合理调整天线权值参数，是提升网络覆盖以及干扰等指标的动态均衡优化要求的关键。

因此，如何避免现有的天线权值参数优化方法不能实现不同用户分布场景下的自适应问题，迭代寻优周期长且难以准确、快速实现不同用户环境分布下的天线权值参数优化的困扰，仍然是本领域技术人员亟待解决的问题。

发明内容