[发明专利]基于深度强化学习的频谱资源管理方法

说明书

本发明公开一种基于深度强化学习的频谱资源管理方法。主要解决现有技术不能有效利用不完全信道状态信息进行频谱和功率分配以及频谱资源管理多目标优化的问题。其实现方案是，以频谱效率最大化为优化目标，构造以信道增益和噪声功率为权值参数的自适应深度神经网络；初始化权值参数，观测用户接入信息和干扰信息，根据通信网络能量效率和公平性计算损失函数，沿着损失函数梯度下降方向逐层更新信道增益和噪声功率，反复训练自适应深度神经网络，当满足训练结束条件，输出最优频谱资源管理策略。本发明能基于不完全信道状态信息得到最优频谱资源管理策略，有效提升了通信网络的频谱效率、能量效率和公平性，可用于无线通信中的频谱和功率分配。

技术领域

本发明属于通信技术领域，特别涉及一种资源管理方法，可用于无线通信中的频谱和功率分配。

背景技术

随着无线网络中通信设备数量的急剧增加和业务需求的愈加多样，无线通信领域面临着智能化、宽带化、多元化、综合化等诸多技术挑战，导致频谱资源的稀缺程度日益加剧。此外，无线网络环境的复杂性、多样性和动态性，使信道状态信息的获取变得愈加困难，绿色网络和智慧网络等新概念的提出，使频谱资源管理的优化目标日趋多样化。因此，如何优化频谱利用，最大限度地实现频谱资源的高效管理是当前急需解决的重点问题。

现阶段，频谱资源管理的研究已经有一定的进展，T.Yang等人采用图论着色理论对全双工设备到设备D2D蜂窝网进行频谱和功率分配，构造干扰感知图，提出了一种全新的基于图论着色理论的资源共享方案，该方案以网络吞吐量为优化目标，需要定时获取信道状态信息CSI，算法收敛速度快，时间复杂度低，但是不适用于动态变化的蜂窝网络，而且存在不公平缺陷。

J.Huang等人将博弈理论应用于小区间蜂窝网中的频谱分配，假设基站预先获得且共享CSI，将两个通信设备放置于相邻小区的重叠区域，采用静态重复的古诺博弈模型来求解纳什均衡解，获得最优的频谱效率，仿真模拟了三种典型场景，通过求解一系列优化方程式来获得最优分配策略，计算复杂且难以应用于实践。

K.Zhou等人采用凸优化方法对卫星通信中的频谱资源进行分配，综合考虑应用层、数据链路层和物理层参数，构建一个全新的优化方程式，将频谱分配问题转换为凸优化问题，该方法降低了计算复杂度，分配公平性和频谱效率得到有效提升，但是难以解决多目标优化问题。

L.H.Takshi等人基于遗传算法实现D2D蜂窝网中的频谱和功率分配，通过同时搜索不同区间，获得全局最优的频谱效率和干扰性能，而且蜂窝网用户的信干噪比保持最低，对D2D用户数量没有限制，并且采用信道预测方法来减少CSI信息过载，算法具有较强的搜索性能，但是收敛速度较慢。

U.Challita等人提出采用深度学习方法对LTE中未授权频谱进行预分配，利用长短期记忆LSTM神经网络来学习历史经验信息，并利用学习训练好的LSTM网络对未来某一窗口的频谱状态进行预测，该方法可以获得较优的频谱分配方案，但是将神经网络看作黑匣子，而且依赖于大量的标签数据来训练神经网络。

可以发现，目前已有的频谱资源管理方法，大都需要基于完整信道状态信息来获取最优频谱资源管理策略，而且优化目标单一，难以有效解决多目标优化问题，并将多目标优化问题视为NP完全问题。

发明内容

本发明的目的在于提出一种基于深度强化学习的频谱资源管理方法，以在获得不完全信道状态信息条件下，能够快速制定频谱资源管理策略，有效提升无线通信网络频谱效率、能量效率和公平性。

为实现上述目的，本发明的技术方案包括如下：

(1)构造自适应深度神经网络：