[发明专利]一种基于深度强化学习的URLLC和eMBB的资源复用方法

权利要求书

1.一种基于深度强化学习的超可靠低时延URLLC和增强移动宽带eMBB的资源复用方法，其特征在于，该方法包括：

采集M个微时隙mini-slot的URLLC与eMBB的数据包信息、信道信息以及队列信息作为训练数据；M为自然数；

建立基于深度强化学习的URLLC与eMBB资源复用模型，并利用所述训练数据对模型参数进行训练；

对训练好的模型进行性能评估直至满足性能需求；

收集当前mini-slot的URLLC与eMBB数据包信息、信道信息以及队列信息，将所收集信息输入所述训练好的模型，获得资源复用决策结果；

根据所述资源复用决策结果，对当前mini-slot的eMBB和URLLC数据包进行资源分配。

2.如权利要求1所述的方法，其特征在于，所述采集M个mini-slot的URLLC与eMBB的数据包信息、信道信息以及队列信息作为训练数据的方法包括：

对于M中的第k个mini-slot，获取不同子载波的下行信道增益g^k＝[g₁,g₂,…,g_i]，其中i为mini-slot中子载波的数量；并获取eMBB数据包比特数R^k_eM，URLLC数据包比特数R^k_UR，eMBB数据包队列长度Q^k_eM，URLLC数据包队列长度Q^k_UR，k∈M；

将所获取的信息封装为状态向量s^k＝[R^k_eM,R^k_UR,g^k,Q^k_eM,Q^k_UR]作为训练数据。

3.如权利要求2所述的方法，其特征在于，所述建立基于深度强化学习的URLLC与eMBB资源复用模型包括：

设定动作向量a＝[P_eM,P_UR,n_eM,n_ur]，其中P_eM表示当前mini-slot传输时间内分配给eMBB数据包的发射功率，P_UR表示当前mini-slot传输时间内分配给URLLC数据包的发射功率，n_eM表示当前mini-slot传输时间内分配给eMBB数据包的子载波数，n_ur表示当前mini-slot传输时间内分配给URLLC数据包的子载波数，并初始化eMBB数据包的队列长度Q_eM，以及URLLC数据包的队列长度Q_UR均为零；

构建eval和next两个相同的神经网络，其中eval神经网络用于获得当前状态的动作估值函数Q以及选择动作向量a；next神经网络通过选择下一个状态最大的动作估值函数argmax_aQ’计算目标动作估值函数Q_target，用以完成对eval神经网络参数的更新；

设定eval神经网络的参数C＝[n,n_h,n_in,n_out,θ,activate]；n表示神经网络的隐含层数的个数，n_h＝[n_h1,n_h2,...,n_hn]表示每个隐含层所包含的神经元的个数，n_in表示输入层神经元的个数且等于状态向量s的长度，n_out表示输出层神经元个数且等于动作向量a所有可能的取值，θ＝[weight,bias]，weight表示权重并随机初始化为0～w，bias表示偏置并初始化为b，activate表示激活函数并采用线性整流函数；

初始化next神经网络参数C’＝C。