[发明专利]基于深度强化学习的频谱资源管理方法

摘要

本发明公开一种基于深度强化学习的频谱资源管理方法。主要解决现有技术不能有效利用不完全信道状态信息进行频谱和功率分配以及频谱资源管理多目标优化的问题。其实现方案是，以频谱效率最大化为优化目标，构造以信道增益和噪声功率为权值参数的自适应深度神经网络；初始化权值参数，观测用户接入信息和干扰信息，根据通信网络能量效率和公平性计算损失函数，沿着损失函数梯度下降方向逐层更新信道增益和噪声功率，反复训练自适应深度神经网络，当满足训练结束条件，输出最优频谱资源管理策略。本发明能基于不完全信道状态信息得到最优频谱资源管理策略，有效提升了通信网络的频谱效率、能量效率和公平性，可用于无线通信中的频谱和功率分配。

主权项

1.一种基于深度强化学习的频谱资源管理方法，其特征在于，包括：(1)构造自适应深度神经网络：以频谱效率最大化为优化目标，在子载波发送功率满足总功率约束条件下，对频谱效率进行优化，构建增广拉格朗日函数，形成频谱分配策略功率分配策略P_n,m和拉格朗日乘子λ_n的迭代更新数据流，构造以信道增益h_n,m和噪声功率为权值参数的自适应深度神经网络，该自适应深度神经网络包括数据输入层、多层频谱更新层、多层功率更新层和多层乘子更新层以及策略输出层；(2)训练自适应深度神经网络：2a)初始化自适应深度神经网络权值参数，即将信道增益h_n,m初始化为瑞利分布，将噪声功率初始化为高斯白噪声；2b)在时刻t,将观测到的通信网络用户接入信息和干扰信息输入到自适应深度神经网络的状态输入层，经过自适应深度神经网络前向传输后，在策略生成层输出一组数值，每一个数值对应一种频谱分配策略和功率分配策略，从策略生成层输出的数值中寻找出最大数值并将最大数值所对应的频谱分配策略和功率分配策略作为时刻t的频谱资源管理策略；2c)计算通信网络的能量效率和公平性，观测通信网络用户接入信息和干扰信息将通信网络的能量效率和公平性作为自适应深度神经网络的回报值r_t+1，将观测到的用户接入信息和干扰信息重新输入到自适应深度神经网络的状态输入层，经过自适应深度神经网络前向传输后，从策略生成层输出的数值中寻找最大数值并将最大数值所对应频谱分配策略和功率分配策略作为时刻t+1的频谱资源管理策略；2d)设定折扣因子γ，计算损失函数值Q：2e)设定阈值μ，将损失函数值Q与阈值μ比较：若损失函数值Q≥μ，则执行2f)，否则，将2b)选定的频谱分配策略和功率分配策略作为最优频谱资源管理策略，完成频谱资源管理；2f)采用反向传播算法，使损失函数值Q趋于最小化，沿着损失函数梯度下降方向逐层更新自适应深度神经网络的权值参数，即更新信道增益h_n,m和噪声功率当权值参数更新次数达到限定的最大次数A时，将2b)选定的频谱分配策略和功率分配策略作为最优频谱资源管理策略，完成频谱资源管理，否则，返回2b)。