[发明专利]基于深度强化学习的天线参数的确定方法和装置

权利要求书

1.一种基于深度强化学习的天线参数的确定方法，其特征在于，包括：

获取用户终端上报的MDT数据和小区基站工参资源数据；

基于所述MDT数据和小区基站工参资源数据中提取的用户终端和小区基站位置信息确定天线垂直波瓣宽度，基于所述MDT数据中提取的用户终端分布确定天线水平波瓣宽度；

基于栅格化的MDT数据构成环境状态矩阵，所述栅格化的MDT数据包括用户终端分布栅格数据、用户终端RSRP栅格数据和用户终端干扰栅格数据；

将所述环境状态矩阵输入天线参数优化模型，输出对应于所述环境状态矩阵的天线下倾角和方位角组合；

其中，所述天线参数优化模型是基于样本环境状态矩阵和对应的天线下倾角和方位角组合标签进行训练得到的，所述天线参数优化模型的训练网络为深度强化学习DQN网络；

所述基于栅格化的MDT数据构成环境状态矩阵，所述栅格化的MDT数据包括用户终端分布栅格数据、用户终端RSRP栅格数据和用户终端干扰栅格数据，具体包括：

以所述小区基站的位置为中心点，对所述中心点预设范围内的三维空间进行基于预设步长的三维栅格化，形成用户终端分布栅格三维空间、用户终端RSRP栅格三维空间和用户终端干扰栅格三维空间；

所述用户终端分布栅格三维空间的栅格(i,j,k)的表征值S_usr_raste_i,j,k通过如下公式计算：

所述用户终端RSRP栅格三维空间的栅格(i,j,k)的表征值S_rsrp_raste_i,j,k通过如下公式计算：

S_rsrp_raste_i,j,k＝avg(usr_rsrp_i,j,k)

所述用户终端干扰栅格三维空间的栅格(i,j,k)的表征值S_rsrp_raste_i,j,k通过如下公式计算：

其中，usr_i,j,k为栅格(i,j,k)空间内包含用户终端的个数，∑usr_i,j,k为所述中心点预设范围内的三维空间内包含用户终端的总数，usr_rsrp_i,j,k为栅格(i,j,k)空间内各用户终端的RSRP信号强度值，avg(usr_rsrp_i,j,k)为栅格(i,j,k)空间内所有用户终端的RSRP信号强度取平均，usr_over_i,j,k为栅格(i,j,k)空间内判断为重叠覆盖用户终端的个数，所述重叠覆盖用户终端的判定规则为若满足当前用户终端接收所述小区基站的RSRP信号强度与相邻小区基站的RSRP信号强度之差小于第四阈值的相邻小区的个数超过第五阈值，则所述当前用户终端为重叠覆盖用户终端；

将所述用户终端分布栅格三维空间、所述用户终端RSRP栅格三维空间和所述用户终端干扰栅格三维空间以同一方向进行排列拼接，得到环境状态矩阵。

2.根据权利要求1所述的基于深度强化学习的天线参数的确定方法，其特征在于，所述基于所述MDT数据和小区基站工参资源数据中提取的用户终端和小区基站位置信息确定天线垂直波瓣宽度，具体包括：

对所述MDT数据中提取的所有用户终端的位置以及所述小区基站工参资源数据中提取的小区基站的位置进行关联，确定属于该小区的W个用户终端；

基于所述MDT数据确定任一用户终端的位置高度h_i，i＝1,2,...,W，以及所述小区基站工参资源数据确定的基站高度H通过如下阶梯判定方式确定垂直波瓣宽度：

若满足h_i-H≥50的用户终端占W个用户终端的比例超过第一阈值，则确定天线垂直波瓣宽度为M₁度；

若满足25≤h_i-H50的用户终端占W个用户终端的比例超过第二阈值，则确定天线垂直波瓣宽度为M₂度；

若不满足上述任一条件，则确定天线垂直波瓣宽度为M₃度；

其中，M₁、M₂和M₃均为正整数，且M₁M₂M₃。