[发明专利]NOMA网络中用户关联与资源分配的模型训练方法

说明书

本公开实施例公开了一种NOMA网络中用户关联与资源分配的模型训练方法，所述方法包括：获取NOMA异构网络中的样本用户设备在采样时刻的第一传输速率、样本用户设备在采样时刻处理任务所需的第一时间、样本用户设备在采样时刻从所接入的基站分配到的第一功率；将样本用户设备的第一传输速率、第一时间和第一功率作为DDPG网络模型中Actor网络的输入状态，获得Actor网络输出的预测动作；根据NOMA机制确定预测动作对应的下一状态，以及计算预测动作对应的奖励；将输入状态、预测动作、奖励以及下一状态作为一个样本数据加入样本数据集合中；利用样本数据集合训练DDPG网络模型。

技术领域

本公开涉及计算机技术技术领域，具体涉及一种NOMA网络中用户关联与资源分配的模型训练方法、装置、电子设备及存储介质。

背景技术

在现代社会中，随着无线设备数量的急剧上升，在已有的网络中满足众多用户在无线频谱以及网络容量方面的巨大需求是一个热点问题，也是一个棘手的问题。在现代的无线网络中，多个用户终端与基站相连形成小区。随着时代的发展，网络的概念已经发生了许多变化，其中一个重要的网络类型——异构网，在下一代小区网络系统中被视为一种十分理想的技术。本文中的异构网分为三层：MBS(Marcocell Base Station，宏蜂窝小区基站)层、PBS(Picocell Base Station，微微蜂窝小区基站)层与FBS(Femtocell BaseStation，飞蜂窝小区基站)层，以上三种基站的主要区别在于不同的发射功率、大小不一的覆盖范围、部署难易程度以及开销花费。相对于基于基站塔建设的、发展与维护开销巨大的MBS小区而言，异构网的部署更加灵活、有针对性部署以及更加经济合理。

在一个常见的小区网络系统中，大多数用户是倾向于与MBS相连接，这样就会导致负载不平衡的现象：MBS过载，PBS与FBS是低负载甚至是空闲的。为了充分利用空闲的基站，用户将被更多地与低负载或者空闲的基站连接，这些基站会给用户提供更多的资源和更高的速率；与此同时，一个更平衡的小区网络可以减少MBS的负载，使得它可以为其余的用户提供更好地服务。此外，网络为各个基站分配合适的功率，来实现能源的有效利用，最终实现网络效用的最大化。

在移动通信网络中，设计合理的无线接入技术可以有效地提高系统的容量。常见的多址接入技术可以分为两类：正交多址接入技术(OMA)和非正交多址接入技术(NOMA)。与OMA相比，NOMA允许在相同的时间、相同的频率复用多个用户，这种技术可以有效提高频谱效率，提供更高的小区边缘用户的吞吐量，降低信道反馈，且具有较低的信道时延。NOMA是一种功率域复用技术，通过分配给用户不同的功率来达到区分用户的目的，此外，NOMA在接收端采用串行干扰消除技术(successive interference cancellation)SIC技术，可以有效解调出用户的信号。

针对网络效用最大化问题，已有的求解方法主要分为以下几种：基于博弈论的方法、线性规划的方法以及马尔科夫近似的方法。这些方法在解决优化问题时仍然需要一些关于网络比较准确的信息。在实际的网络中，无法获得完整的网络信息，这使得以上这些优化策略很难实现。

发明内容

本公开实施例提供一种NOMA网络中用户关联与资源分配的模型训练方法、装置、电子设备及计算机可读存储介质，其利用强化学习网络模型自主学习网络的信息，再利用学习到的网络信息解决异构网下行的优化问题。

第一方面，本公开实施例中提供了一种NOMA网络中用户关联与资源分配的模型训练方法，其中，包括：

获取NOMA异构网络中的样本用户设备在采样时刻的第一传输速率、所述样本用户设备在采样时刻处理任务所需的第一时间、所述样本用户设备在采样时刻从所接入的所述基站分配到的第一功率；