[发明专利]一种深度确定性策略梯度的下行NOMA功率分配方法

权利要求书

1.一种深度确定性策略梯度的下行NOMA功率分配方法，其特征在于使用深度确定性策略梯度算法实现下行NOMA系统的功率分配，其包括如下：算法中共包含四个神经网络，演员模块和评论家模块分别使用双神经网络结构；使用经验池回放机制进行训练，解决训练样本间存在的时间相关性问题；对算法中状态、动作及奖赏函数分别进行对应设计，使智能体可以更加有效的自主学习；采用集中式的训练方式，经过多次迭代，最终得到最优的功率分配策略；通过功率分配使NOMA系统中的多个用户处于不同的、恰当的功率级别，在最大功率的限制下，最大程度提升系统的中传输速率，从而提升NOMA系统的总体通信性能和用户的通信体验。

2.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，初始化下行NOMA系统环境，包含基站及多个终端用户，考虑到接收端解码的复杂度，考虑一个子信道上包含两个用户的情况，初始化状态作为神经网络的输入。

3.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，状态包含四个部分，第一个部分是上一时隙智能体所达到的和速率，第二部分是上一时隙智能体上两个用户各自的SINR信息，第三部分是上一时隙智能体上两个用户各自所达到的传输速率，第四部分是当前时隙智能体所采取的功率分配比例因子，状态表示为：

其中，表示上一时隙智能体所达到的和速率，表示上一时隙智能体上两个用户各自的SINR信息，表示上一时隙智能体上两个用户各自所达到的传输速率，表示当前时隙智能体所采取的功率分配比例因子。

4.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，动作集合是一个连续值集合，取值范围从0到1，但不包含0和1；集合表示为：

A＝(0,...,β_n,...,1)

其中，β_n表示子信道上两个用户之间的功率分配比例因子。

5.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，将初始状态信息输入当前演员神经网络，输出智能体所要采取的动作；在达到固定迭代次数及固定时隙时，从经验池中随机抽取批次数据输入神经网络进行训练，计算当前演员网络和当前评论家网络的损失函数，通过梯度下降法更新两个网络的参数；目标演员网络和目标评论家网络是采取的“软更新”的方式，来更新网络权重参数，表示如下：

其中，τ表示参数更新幅度大小。

6.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，奖赏函数的设计，是通过设置当前时隙所有智能体所能达到的传输速率总和，计算公式为：

7.根据权利要求1所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，采用双神经网络结构及经验回放机制，有效分析处理大量数据，并且避免训练样本之间存在的时间相关性，提升神经网络的性能；所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，对状态集合、动作集合及奖赏函数根据仿真NOMA系统环境进行对应设计，进行神经网络的训练；所述一种基于深度确定性策略梯度的下行NOMA功率分配方法，对两个目标神经网络的参数更新采取“软更新”的方式，每次更新一部分，而不是完全复制两个当前神经网络的参数；通过训练神经网络，最终得到最优的功率分配策略。