[发明专利]一种高速移动场景下的动态多信道接入方法

说明书

高速移动通信系统中，基于深度强化学习和长短时记忆单元的动态多信道接入方法操作步骤如下：(1)信道状态信息预测阶段：基于长短时记忆单元对信道增益进行预测，得到实时的信道增益预测信息。(2)多信道接入模型训练阶段：利用深度强化学习技术，结合步骤(1)中获取的预测信息，通过在线训练的方式，更新多信道接入模型的参数。(3)高速移动用户信道接入阶段：将用户需求的服务质量输入到多信道接入模型，即可输出信道选择策略。本发明方法在确保实时追踪信道动态变化的前提下，能够带来接近于穷搜的系统性能并降低了处理时延和削弱非即时处理误差的影响。本发明利用长短时记忆单元的高精度预测特性，提高了模型的收敛速度。

技术领域

本发明涉及一种用于高速移动场景下的多信道接入方法，确切地说，是一种利用深度强化学习和长短时记忆单元技术对信道的状态进行实时追踪并严格依据用户需求进行动态多信道接入的方法，属于无线通信技术领域。

背景技术

随着高速铁路和公路的飞速发展，5G和后5G移动通信系统正面临着高速移动环境，这将导致快速的信道衰落，频繁的切换等。而5G和后5G系统的一个重要特征就是可以提供高可靠低时延的通信服务，例如车联网，自动驾驶等。动态多信道接入作为实现上述目标的关键技术之一，需要极大的改进。合理的动态多信道接入技术可以有效的提高系统的吞吐量。

高移动场景下的多信道接入面临着两个严峻的挑战。第一，由于信道的快衰落变化，在时隙t选择的最优策略可能在t+1时隙成为了最差的策略选择。但若在每个时隙都选择最优策略，则降低了系统稳定性，提高了计算复杂度和处理时延。同时，频繁的切换将增加用户的掉线率,进而影响用户的服务质量。第二，当我们想在时隙t采取策略时，由于信息的非零时延获取和设备处理时延，该策略实际被应用在t+τ时隙，其中τ是因为非即时性的信息处理而带来的时延。

在典型的多信道接入中，用户在接入前首先检测空闲信道，然后随机选择其中一个信道接入，这往往导致用户需求和信道供给资源的不匹配。尽管有许多优化算法被提出，例如Myopic策略，Index策略及其变种，但这些算法都是针对静态或低速的移动通信系统，没有解决上述两个问题，且都是基于完全已知信息的马尔可夫信道模型，但实际系统中，我们对于马尔可夫模型的信息难以获取的。

针对上述需求和问题，本发明提出了一种适用于高速移动场景下的动态多信道接入方法，该方法可以对信道的状态进行实时追踪并严格满足用户需求，同时降低处理次数，进而有效的降低处理时延和削弱非即时性信息处理误差的影响。

发明内容

有鉴于此，本发明的目的是提供一种可以适用于高速移动场景，在保持高系统性能的同时有效的降低处理次数和削弱非即时性处理时延带来的误差的方法，即一种在高速移动场景下，利用深度强化学习和长短时记忆单元技术，对信道状态进行实时追踪，并自学习出一种最优的动态多信道接入策略的方法。

本发明利用深度强化学习最大化一段时间内的长期折扣收益的特点，不必为了适应系统的动态特性而在每个时刻都采取最优策略，而是在保持高性能的同时，每隔L(L≥1)个时隙采取一个策略，降低了策略选择的次数，进而有效的降低处理时延和削弱了非即时处理误差的影响。并且，考虑到算法在高移动场景下的收敛速度较慢，本发明提出了基于长短时记忆单元来降低算法收敛速度的方法，极大的提升了算法的收敛性能。

为了达到上述目的，本发明提供了一种高速移动系统中基于深度强化学习和长短时记忆单元的动态多信道接入方法，用于下述场景：包括一个带有M个子信道的基站和N个高速移动用户的通信系统。当用户需要进行数据传输的时候，向基站发送请求接入的信号。其特征在于：所述方法包括下列两个操作步骤：

(1)信道增益信息预测阶段：构建基于长短时记忆单元的时序预测模型，然后实时采集信道增益的变化信息，构建信道增益时序序列。通过在线训练的方式更新模型的参数并在需要的时隙输出信道增益的预测信息。所提信道增益信息预测的具体步骤如下：