[发明专利]一种应用于非授权毫米波段异构网络共存的调度方法

权利要求书

1.一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于包括以下步骤：

1)首先初始化参数，并将NR-U网络中的基站设为Agent，将其可调度的用户看做可选的动作；

2)观察当前时隙的环境状态，Agent得到在当前状态下所有动作的Q值；

3)依据ε-greedy策略选择下一步的动作；

4)执行动作后，Agent得到相应的反馈并转入下一状态；

5)将当前环境状态、Agent选取的动作、Agent获取的奖励、成本序列以及下一时隙的环境状态以经验的形式存入经验池中；

6)重复步骤2)～5)直到经验池中累积到足够的经验，开始学习，更新拉格朗日乘子，然后更新评估网络参数，再更新目标神经网络参数；

7)重复以上步骤直到收敛，获得最优调度策略。

2.如权利要求1所述一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于在步骤1)中，所述初始化参数包括系统参数和算法参数，所述系统参数，系统中的NR-U网络由1个基站和N个用户终端组成，WiGig网络由M个WiGig接入点及其各自的用户终端组成；所述算法参数包括：每个拉格朗日乘子的初始值、折扣因子γ、评估神经网络的学习率α₁、拉格朗日乘子的学习率α₂、训练时随机抽取的经验的数量N_e、初探索率ε、目标神经网络更新频率T₀、经验池容量、初始状态s₀。

3.如权利要求1所述一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于在步骤3)中，所述依据ε-greedy策略选择下一步的动作，Agent为NR-U网络中的基站，其选择将要传输数据的用户，即a_t∈{1,2,…,N}，其中，a_t＝n表示基站将在当前时隙传输一个数据包给用户n。

4.如权利要求1所述一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于在步骤3)中所述ε-greedy策略具体为：

(1)以1-ε的概率选取Q值最大的动作，其中初探索率ε∈[0,1]；

(2)以ε的概率随机选择一个动作，即随机选择一个用户传输数据包。

5.如权利要求1所述一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于在步骤4)中，所述执行动作后，Agent得到相应的反馈并转入下一状态的具体步骤为：执行动作a_t后，若传输成功，观测值为o_t＝1，否则o_t＝0；状态由前D个时隙的动作观测对z_t＝(a_t,o_t)组成，即s_t+1＝(z_t-D+1,z_t-D+2,…,z_t)，其中D是状态历史长度；进一步地，Agent的目标是要最大化整个NR-U网络的数据速率同时满足每个用户的QoS要求，所以执行动作a_t后获得的奖励r_t+1定义为NR-U网络的总数据速率，用公式表示如下：

其中，是第n个用户在当前时隙的数据速率；执行动作a_t后的成本定义为每个用户在当前时隙的数据速率，即：

Agent的目标用公式表示为：

6.如权利要求1所述一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于在步骤6)中，所述学习分为两步：第一步从经验池中随机采样一小批经验更新每个拉格朗日乘子λ_n,第二步根据更新之后的拉格朗日乘子计算每条采样出来的样本的总的奖励再根据计算评估神经网络的损失函数L(θ)，并在反向传播的过程中，利用随机梯度下降法迭代搜索损失函数的最小值，实现评估神经网络的训练。