[发明专利]一种高速移动场景下的动态多信道接入方法

权利要求书

1.基于深度强化学习和长短时记忆单元的动态多信道接入方法，用于下述场景：包括一个带有M个子信道的基站和N个高速移动用户的通信系统。当用户需要进行数据传输的时候，向基站发送请求接入的信号。其特征在于：所述方法包括下列三个操作步骤：

(1)信道增益信息预测阶段：构建基于长短时记忆单元的时序预测模型，然后实时采集信道增益的变化信息，构建信道增益时序序列。通过在线训练的方式更新模型的参数并在需要的时隙输出信道增益的预测信息。

(2)多信道接入模型训练阶段：利用重新设计的基于预测的深度确定性策略梯度的深度强化学习算法，构建多信道接入模型的网络结构，并在线训练，实时更新。在有接入请求时，停止训练，输出策略，其余时刻则不间断地持续训练。

(3)高速移动用户信道接入阶段：当有用户请求接入或每隔L(L≥1)个时隙，将用户需求的服务质量信息，当前时隙的信道增益信息和预测的信道增益信息输入网络，输出多信道接入策略，然后用户依据该多信道接入策略，进行接入。

2.根据权利要求1所述的方法，其特征在于：所述步骤(1)中，信道增益信息预测包括下列操作内容：

(11)在基站端，通过在线部署的方式，为每一个子信道构建一个基于长短时记忆单元的时序预测模型(共M个)，并初始化网络参数，模型输入大小为I，模型输出大小为O。

(12)基站端在每个时隙采集M个子信道增益的变化状态(功率值大小)，并构建成M个时序序列，每一个时序序列分别对应于一个时序预测模型的输入。

(13)利用M个信道增益的时序序列对模型进行训练，不断更新网络参数。随着时间推进，M个信道增益的时序序列不断变长，训练集数据愈加完备。

(14)在需要输出信道增益的时隙，输入当前时隙与之前I-1个时隙的信道增益，即可实时地端到端输出未来O个信道增益状态。在不需要进行信道增益输出的时隙，则继续不断地进行时序预测模型的训练。

3.根据权利要求1所述的方法，其特征在于：所述步骤(2)进一步包括下列操作内容：

(21)多信道接入模型利用重新设计的基于预测的深度确定性策略梯度的深度强化学习算法，由价值网络和动作网络构成。动作网络的输入是当前的信道增益状态，用户需求的服务质量以及步骤(1)中信道增益的预测状态，输出是多信道接入策略。价值网络的输入是动作网络输出的多信道接入策略，输出是该信道接入策略优劣的评判值，且该评判值又作为动作网络的输入。

(22)分别为价值网络和动作网络构建两个神经网络，一个是在线网络，实时的获取信道增益信息，并据此不断地训练并更新网络参数；另一个是目标网络，其参数更新方式以渐近的方式更新，即逐步通过在线网络的参数来更新目标网络的参数。

(23)以严格满足用户服务质量为第一优化目标，以信道供给的信道增益尽可能接近于用户需求为第二优化目标，构建基于连续值的回报函数。

(24)当多信道接入模型被部署完成之后，则不间断地实时在线训练和进行参数更新。当有用户请求接入或每隔L个时隙时，则停止训练，依据当前时隙的用户需求的服务质量，信道的增益和预测的信道增益，产生动作接入策略。然后当该策略被确定之后，则继续不断地在线训练。

4.根据权利要求1所述的方法，其特征在于：所述步骤(3)进一步包括下列操作内容：

(31)当有用户请求接入时，向基站上传请求的服务质量信息，然后将用户需求的服务质量，当前时隙的信道增益状态以及步骤(1)中预测的信道增益输入到步骤(2)中构建的多信道接入模型，然后输出多信道接入策略。此外，即使没有新的用户接入，为了保证接入策略对系统动态性能的适应性，也需要每隔L个时隙重新进行接入策略的选择输出。