[发明专利]一种NOMA系统中基于分层深度强化学习的动态频谱接入方法

说明书

本发明涉及一种非正交多址(Non‑Orthogonal Multiple Access,NOMA)系统中基于分层深度强化学习的动态频谱接入方法，属于深度强化学习、NOMA、动态频谱接入、功率控制技术领域，包括以下步骤：S1：构造上行多用户多信道的通信场景；S2：建立信道干扰模型；S3：将通信优先级高的用户优先获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；S5：采用集中训练分布执行的方式完成策略的更新和执行。本发明提出的方法相较于其它基于AI方法的DSA方案能够获得更快的收敛速度和更低的丢包数，而且连续的发送功率能够获得比离散的发送功率更好的系统性能。

技术领域

本发明属于深度强化学习(Deep Reinforcement Learning，DRL)、NOMA、动态频谱接入、功率控制等领域，涉及一种NOMA系统中基于分层深度强化学习的动态频谱(DynamicSpectrum Access，DSA)接入方法。

背景技术

现有的基于深度强化学习的动态频谱接入方案主要包括：基于集中式深度强化学习的动态频谱接入方案和基于分布式深度强化学习的动态频谱接入方案。其中基于集中式深度强化学习的动态频谱接入方案通过单一的控制中心集中处理全局的环境信息然后做出决策；而基于分布式强化学习的动态频谱接入方案通过用户独自处理局部环境信息然后做出决策或通过用户间相互协作然后做出决策。然而，基于这两种结构的动态频谱接入方案都存在着一定的缺陷，例如：基于分布式深度强化学习的动态频谱接入方案都没有考虑用户的自身特性，例如：用户的通信优先级、数据优先级和用户能量等情况。这是因为在不考虑用户协作的条件下基于分布式深度强化学习的动态频谱接入方案无法做出有效地接入决策，而当考虑用户协作时，由于用户的相互独立，用户间的信息交换需要大量的信令开销。而基于集中式深度强化学习的动态频谱接入方案值考虑了用户的接入控制而没有考虑用户的发送功率控制。这是因为联合考虑发送功率和动态频谱接入控制时，会导致集中控制中心需要处理的数据量爆炸式增长，进而导致算法需要算法更长的时间进更新，且需要更好的硬件设备。

发明内容

有鉴于此，本发明的目的在于降低对于硬件的要求并提高算法收敛速率以及丢包率、收敛速度等方面的性能，提供一种NOMA系统中基于分层深度强化学习的动态频谱接入方法。

为达到上述目的，本发明提供如下技术方案：

一种NOMA系统中基于分层深度强化学习的动态频谱接入方法，包括以下步骤：

S1：构造上行多用户多信道的通信场景；

S2：建立信道干扰模型；

S3：将通信优先级高的用户获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；

S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；

S5：采用集中训练分布执行的方式完成策略的更新和执行。

进一步，步骤S1中具体包括：基于单个网络单元，构造上行多用户多信道的通信场景，其结构如图2所示；该网络由一个基站和多个用户组成，基站位于网络单元的中心，N个单天线用户随机分布在基站的覆盖范围之内；在该网络中，用户通过NOMA技术实现在与基站的通信；假设该环境存在M个可供用户接入的独立信道，信道宽度为W＝5MHz，本发明将信道定义为分配给用户的最小资源单位；为了防止过多的用户间干扰，并确保低硬件复杂度和低处理延迟，本发明假定每个时隙内每一个信道最多可以接入4个用户；在该通信环境中，所有的链路都受到多路径传播和路径损耗所引起的快慢速衰落效应；