[发明专利]一种应用于非授权毫米波段异构网络共存的调度方法

说明书

一种应用于非授权毫米波段异构网络共存的调度方法，涉及无线通信网络优化。首先初始化参数，并将NR‑U网络中的基站设为Agent，将其可调度的用户看做可选的动作；观察当前状态，Agent得到在当前状态下所有动作的Q值，依据策略选择下一步的动作；执行动作后Agent得到相应的反馈并转入下一状态，存储经验，当经验池中的经验数累积到一定量后，开始学习，更新拉格朗日乘子，更新评估网络参数，再更新目标神经网络参数；重复以上步骤直到收敛，获得最优调度策略。有效利用非授权毫米波段定向传输的特性，在频谱环境先验知识未知的情况下，动态调整用户调度策略，在最大化NR‑U网络的总数据速率的同时满足不同用户QoS要求。

技术领域

本发明涉及无线通信网络优化，尤其是涉及一种应用于非授权毫米波段异构网络共存的调度方法。

背景技术

近年来，随着5G蜂窝网络中数据业务需求的快速增长，现有的低频段频谱资源很难满足通信需求。同时为减轻授权频带的压力，在第五代无线通信(5G)中，非授权毫米波段得到了广泛的关注。工作在非授权频段的5G网络被称为5G NR-U网络。

在非授权毫米波频带，5G NR-U网络面临的一个关键挑战是确保其用户终端(UE)与原本就工作在非授权毫米波频段的WiGig网络中的原始设备和谐共存。与sub-7GHz非授权频段的频谱共享问题不同，非授权毫米波频段会面临一些新的问题。由于毫米波频段具有频率高、波长短、路径损耗高等特点，为了克服毫米波段的高路径损耗，将波束赋形技术应用到毫米波通信网络中，产生方向性强的窄波束用于毫米波信号传输。这种定向传输可以显著提高空间复用，增加频带利用率，但这也使得NR-U网络与WiGig网络之间的干扰关系变得更加复杂。基于以上特点，sub-7GHz非授权频段的频谱共享技术无法直接应用于非授权毫米波段，因此，设计一种有效的适用于非授权毫米波的终端调度方案具有重要意义。

目前，已有一些适用于非授权毫米波段的共存方案被广泛研究。3GPP提出应用于发送端的全向的先听后说机制(omniLBT)和定向先听后说(dirLBT)机制。然而由于毫米波段的定向传输特性，在发送端采用全向的先听后说机制会带来暴露节点问题，降低了空间复用。与此同时，采用定向先听后说时，由于只在传输方向上进行能量检测，会带来隐藏节点问题，进而增加了碰撞概率。为了进一步减少不同网络之间的干扰，S.Lagen等提出了应用于接收端的先听后收(LBR)机制来辅助发送端的先听后说机制。然而，基于先听后说和先听后收的机制在每次发送或者接收之前都要进行能量检测，这造成了额外的系统开销，使得频谱利用率较低。Z.Sha等人提出了一种基于图论的调度方案来减少不同网络间的干扰，但是执行该方法需要事先了解每个网络的拓扑结构，这在实际中往往是不可得的。为了克服以上挑战，本发明采用强化学习的方法来设计NR-U网络的调度方案。

Q-learning是一种异策略的离线强化学习方法。其Agent基于状态在每个离散的时间步骤下采取动作，与环境进行交互，从而进入到下一状态并得到奖励。Agent的目标是最大化长期累积奖励。Agent在每个时隙都需要根据Q值利用ε-greedy策略进行利用(Exploitation)和探索(Exploration)的权衡。当问题的状态动作空间过大时，Q-learning将不再适用，此时引入深度神经网络来代替Q表，即deep Q-network(DQN)算法。DQN算法中的经验回放机制和固定目标神经网络机制能提高算法的稳定性。本发明提出一种基于DQN的改进算法，多约束DQN(AMC-DQN)算法，与传统的DQN相比，它具有以下特征。第一，改进的AMC-DQN算法可以使NR-U网络与WiGig网络和谐共存，而不需要知道WiGig网络的信息。第二，改进的AMC-DQN算法不需要额外的时隙进行信道检测，可以大大提高数据速率。第三，改进的AMC-DQN算法在提高网络总数据速率的同时，能够满足每个用户不同的QoS要求。

发明内容

本发明的目的在于针对非授权毫米波段频谱利用不充分的特点，以及现存的频谱共享策略频谱利用率低和各个用户终端资源分配不均等问题，提供一种应用于非授权毫米波段异构网络共存的调度方法，即基于AMC-DQN算法的频谱共享及用户调度的方法。