[发明专利]基于强化学习算法的无线电频谱动态分配方法及装置

说明书

本申请公开了基于强化学习算法的无线电频谱动态分配方法及装置，用以解决频谱闲置，利用不充分，导致频谱资源紧张的问题。该方法构建无线电通信系统模型，确定可分配的无线电频段与带宽；确定不同通信场景对应的关键性能指标以及对应的优先级；利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽。本方法在5G物联网环境下，将DQN算法应用于多通信场景下的频段分配策略当中，实现对无线电频段的灵活分配，能够提高5G频谱的利用率和通信系统可靠性。

技术领域

本申请涉及频谱分配技术领域，尤其涉及基于强化学习算法的无线电频谱动态分配方法及装置。

背景技术

随着5G商业化进程的加快，频谱已经成为制约无线通信系统的重要限制条件。在5G中有两种方法可以解决这个限制问题：第一，释放已分配的频率供5G系统使用。但5G的商用并不是完全摒弃4G的技术，而是在其基础上的升级，按照传统固定分配的方式，并不能通过释放为系统提供足够的带宽。第二，利用更高的毫米波频段进行通信。但高频段严重的传播衰减制约了系统的覆盖范围，使其只能作为补充手段。

此外，造成频谱资源紧缺的一大原因是频谱的利用问题。大量已经分配的频谱资源在时间和空间上均存在较大程度的闲置，而没有得到充分利用。

因此，需要一种能够对频谱分配进行优化和充分利用的无线电频谱动态分配方法。

发明内容

本申请实施例提供一种基于强化学习算法的无线电频谱动态分配方法及装置，用以解决频谱闲置，利用不充分，导致频谱资源紧张的问题。

本申请实施例提供的一种基于强化学习算法的无线电频谱动态分配方法，包括：

构建无线电通信系统模型，确定可分配的无线电频段与带宽；

确定不同通信场景对应的关键性能指标以及对应的优先级；

利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽。

在一个示例中，利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽，具体包括：通过深度Q网络，生成不同通信场景对应的不同初始位置的代理，以及，从所有无线电频段与带宽中，分别确定各通信场景对应的目标；通过深度Q网络，确定向各通信场景分配的无线电频段，并确定所述无线电频段属于所述可分配的无线电频段与带宽时，根据各通信场景的优先级，将确定出的无线电频段分配给相应的通信场景。

在一个示例中，确定各通信场景对应的目标，具体包括：确定各通信场景对应的第一目标、第二目标；其中，第一目标的优先级高于第二目标的优先级；根据各通信场景的优先级，将所述目标对应的无线电频段分配给相应的通信场景，具体包括：根据各通信场景的优先级，依次向各通信场景分配无线电频段；针对各通信场景，根据该通信场景对应的若干目标的优先级，向该通信场景分配无线电频段；确定该通信场景的第一目标对应的无线电频段已被分配，则将所述第二目标对应的无线电频段分配给该通信场景。

在一个示例中，利用强化学习与深度神经网络，根据各通信场景的关键性能指标与优先级，向不同通信场景分别分配对应的频段和带宽，具体包括：通过深度Q网络中的状态输入与Q值输出，确定向各通信场景分配的无线电频段；确定向各通信场景分配的无线电频段是否满足各通信场景对应的目标，并确定对应的奖励值。