[发明专利]基于强化学习算法的无线电频谱动态分配方法及装置

权利要求书

1.一种基于强化学习算法的无线电频谱动态分配方法，其特征在于，包括：

构建无线电通信系统模型，确定可分配的无线电频段与带宽；

确定不同通信场景对应的关键性能指标以及对应的优先级；

利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽。

2.根据权利要求1所述的方法，其特征在于，利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽，具体包括：

通过深度Q网络，生成不同通信场景对应的不同初始位置的代理，以及，从所有无线电频段与带宽中，分别确定各通信场景对应的目标；

通过深度Q网络，确定向各通信场景分配的无线电频段，并确定所述无线电频段属于所述可分配的无线电频段与带宽时，根据各通信场景的优先级，将确定出的无线电频段分配给相应的通信场景。

3.根据权利要求2所述的方法，其特征在于，确定各通信场景对应的目标，具体包括：

确定各通信场景对应的第一目标、第二目标；其中，第一目标的优先级高于第二目标的优先级；

根据各通信场景的优先级，将所述目标对应的无线电频段分配给相应的通信场景，具体包括：

根据各通信场景的优先级，依次向各通信场景分配无线电频段；

针对各通信场景，根据该通信场景对应的若干目标的优先级，向该通信场景分配无线电频段；

确定该通信场景的第一目标对应的无线电频段已被分配，则将所述第二目标对应的无线电频段分配给该通信场景。

4.根据权利要求2所述的方法，其特征在于，利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽，具体包括：

通过深度Q网络中的状态输入与Q值输出，确定向各通信场景分配的无线电频段；

确定向各通信场景分配的无线电频段是否满足各通信场景对应的目标，并确定对应的奖励值。

5.根据权利要求1所述的方法，其特征在于，所述通信场景包括车到外界V2X、移动用户、设备到设备D2D；所述V2X通信场景的优先级高于所述移动用户通信场景的优先级，所述移动用户通信场景的优先级高于所述D2D通信场景的优先级。

6.根据权利要求5所述的方法，其特征在于，所述V2X通信场景的关键性能指标为时延、容量；

向不同通信场景分别分配对应的频段和带宽，具体包括：

确定强化学习确定出的无线电频段为所述可分配的无线电频段与带宽中的最高频段，分配给所述V2X通信场景。

7.根据权利要求5所述的方法，其特征在于，所述移动用户通信场景的关键性能指标为信道数据传输的可靠性、容量；

向不同通信场景分别分配对应的频段和带宽，具体包括：

确定强化学习确定出的无线电频段为所述可分配的无线电频段与带宽中的最大带宽，分配给所述移动用户通信场景。

8.根据权利要求5所述的方法，其特征在于，所述D2D通信场景的关键性能指标为容量、信道数据传输的可靠性；

向不同通信场景分别分配对应的频段和带宽，具体包括：

确定强化学习确定出的无线电频段符合所述D2D通信场景中终端间隔短的特点，分配给所述移动用户通信场景。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定不同通信场景下终端连接的信道的通信质量；

在所述通信质量低于预设值的情况下，通过强化学习与深度神经网络，重新为相应的通信场景分配无线电频段和带宽。

10.一种基于强化学习算法的无线电频谱动态分配装置，其特征在于，包括：

构建模块，构建无线电通信系统模型，确定可分配的无线电频段与带宽；

确定模块，确定不同通信场景对应的关键性能指标以及对应的优先级；

分配模块，利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽。