[发明专利]一种基于在线学习的抗干扰频点分配方法

说明书

本发明公开了一种基于在线学习的抗干扰频点分配方法，包括：用频用户在每个时隙开始时分配一个频点作为工作频点，同时用频设备开始学习外部干扰源的干扰规律，至用频设备处基于核函数的强化学习方法的频点分配算法收敛，用频用户习得最优策略并按此策略进行频点选择、数据传输；若在算法收敛之后，当前频段干扰发生变化，用频设备继续按照之前的频点分配策略选择频点，根据被干扰的频点时的瞬时回报，启动频点分配算法重新进行学习，至用频设备处的频点分配算法重新收敛，习得干扰改变后的最优频点分配策略并按此策略进行数据传输。本发明能够动态监测环境信息，在未知干扰源的系统中，实时分析环境的干扰情况，做出最优的抗干扰频点分配决策。

技术领域

本发明涉及无线通信技术领域，具体而言涉及一种基于在线学习的抗干扰频点分配方法。

背景技术

近年来，随着无线设备和服务的数量爆炸式增长，无线通信系统中的用户数与业务种类大幅增加，通信设备的频谱资源分配问题成为一大难点。同时，面对越发复杂的电磁环境，具有开放性的无线通信系统相比有线通信系统更易受到电磁环境中的干扰攻击，抗干扰技术的研究在构建更加稳健，高效的无线通信系统中的重要性日益凸显。

当下，主流的传统抗干扰技术包括跳频扩频(Frequency Hopping SpreadSpectrum， FHSS)和直接序列扩频(direct-sequence spread spectrum，DSSS)，传统的抗干扰技术需要有大量的可用频谱资源作为抗干扰技术的支持，在无法提供大量频谱资源时抗干扰效果会下降，并且传统的抗干扰技术无法应对网络频谱动态变化的场景。

近年兴起的强化学习技术提供了一种通用方法来解决复杂的不确定性决策问题。Q学习算法是一种无模型的强化学习算法，被广泛地应用于无线通信系统的抗干扰问题中。然而，由于电磁环境的复杂性，基于传统强化学习技术对抗干扰频点分配问题进行求解时会面临巨大的状态和动作空间，由此会陷入维度诅咒等问题。为解决此类问题所提出的基于神经网络或隐马尔可夫模型等的预测模型需要大量的计算资源来进行训练，并且需要定期重新训练，同时需要大量参数来获取相关的通信环境信息，在具有业务延迟要求等的实际无线通信网络中具有一定的局限性。因此，需要更先进的技术方法，来动态监测环境信息，实时分析相关数据，做出频点资源分配的最优决策。

发明内容

本发明针对现有技术中的不足，提供一种基于在线学习的抗干扰频点分配方法，利用了基于核函数的强化学习方法，能够动态监测环境信息，在未知干扰源的系统中，实时分析环境的干扰情况，做出最优的抗干扰频点分配决策。

为实现上述目的，本发明采用以下技术方案：

一种基于在线学习的抗干扰频点分配方法，所述分配方法包括：

用频用户在每个时隙开始时分配一个频点作为工作频点，不同用频用户使用不同频点作为工作频点；同时用频设备开始学习外部干扰源的干扰规律，至用频设备处的频点分配算法收敛，用频用户习得最优策略并按此策略进行频点选择、数据传输；

若在算法收敛之后，当前频段干扰发生变化，用频设备继续按照之前的频点分配策略选择频点，用频用户得到接入被干扰的频点时的瞬时回报，启动频点分配算法重新进行学习，至用频设备处的频点分配算法重新收敛，用频用户习得干扰改变后的最优频点分配策略并按此策略进行数据传输；

其中，所述频点分配算法基于核函数的强化学习方法，对干扰环境下的频点分配问题进行马尔可夫建模，以最大化通信网络中用频设备处的累计折扣回报的期望为目标函数，对每一时隙的状态、动作选择及回报情况进行计算，得到状态-动作值函数，直至算法收敛，将收敛后的动作选择决策作为抗干扰频点分配最优决策；

用频设备在某一时隙的状态是指用频设备的各个可用频点在该时隙过去一预设时间范围内的频谱态势，用频设备的动作选择是指用频设备在所有可用频点中选择用于进行数据传输的频点，用频设备的回报情况是指当前时隙用频设备是否接入未被干扰的频点作为工作频点。