[发明专利]基于USRP平台的强化学习跳频通信抗干实现方法

说明书

本发明公开了一种基于USRP平台的强化学习跳频通信抗干扰实现方法，包括步骤：在上位机的Labview上进行图形化编程，首先发射机端使用双阈值能量检测实现频谱感知，获取频谱状态信息；其次根据获得的频谱作为输入信息，更新Q学习的奖励表R，然后通过Q学习算法进行迭代训练，得到更新的Q表，继续监测频谱状态信息，在频谱状态发生改变后，根据上述步骤继续更新Q表，否则不更新Q表，保持原状态不变。当系统开始通信时，根据Q表进行跳频决策选择最优频谱子带跳频通信，从而实现智能化主动避免干扰的效果。本发明能实现灵活跳频，降低被干扰的概率；能有效提高频谱利用率，减少跳频次数，大大降低了系统开销。

技术领域

本发明涉及强化学习跳频通信抗干实现方法，尤其涉及一种基于USRP平台的强化学习跳频通信抗干扰实现方法。

背景技术

跳频技术作为当前通信领域应用最广的通信抗干扰技术，其具有重要的研究意义。但是在目前的大多数跳频通信系统中，通信双方均是按照确定的跳频图案同步进行跳变，如果在通信过程中遇到压制式干扰或灵巧式干扰，系统无法及时跳频避开干扰频谱，那么己方通信就会被严重干扰，通信质量无法保证；同时，由于通信设备的不断增加，频谱环境变得更为复杂，通信频段也容易互相重叠，从这一方面来讲，常规跳频模式会严重限制跳频通信网容量。

随着认知无线电技术(Cognitive Radio，CR)的提出和发展，其特有的动态频谱接入能力，可以很好的应用在跳频系统中。认知无线电技术还可以和强化学习算法进行结合，利用CR的频谱感知能力扫描和感知周围的环境，然后强化学习算法根据感知信息进行学习来获取策略，以此作为跳频方案，可以实现智能化抗干扰的目的。同时，随着硬件水平的提高，软件无线电技术越来越成熟，在软件无线电平台上进行跳频通信算法研究，可以更加贴合真实环境，具有重要的现实意义。

发明内容

发明目的：本发明的目的是提供一种有效对抗部分频带阻塞干扰和点频干扰的基于USRP平台的强化学习跳频通信抗干实现方法。

技术方案：本发明的强化学习跳频通信抗干实现方法，USRP平台包括一个发射机、一个接收机、一个干扰机和Q学习认知引擎，所述Q学习认知引擎包括一个信息处理中心、一个Q学习算法模块和若干感知节点；发射机发送数据给接收机，干扰机发送单音/多音干扰作为干扰源；发射机和接收机之间采用无线通信；Q学习认知引擎与发射机和接收机之间、信息处理中心以及感知节点之间分别采用光纤进行连接；包括以下步骤：

S1，系统启动，检测系统各硬件模块功能是否正常，等待用户进行通信；

S2，用户开始准备通信，发射机等待发送信息，请求Q学习认知引擎分配可用的频谱资源，同时感知节点开始周期性的收集周围环境的数据，并将数据包发送给信息处理中心

S3，信息处理中心对收到的数据进行处理，并更新可用/不可用频段频谱信息；

S4，根据信息处理中心反馈的频谱资源情况，得到干扰频段信息，然后更新状态-动作对的相应奖励值R；

S5，采用同步Q学习算法开始在线训练学习，并生成相对应的Q表；

S6，Q学习认知引擎在收到发射机的服务请求后，分配可用的频段频谱资源给发射机；

S7，在进行通信的过程中，信息处理中心对当前使用的频谱资源进行判断，判断无线环境是否改变；如果未发生变化，用户继续根据当前Q表进行跳频决策接收数据；如果发生变化，Q学习认知引擎就需要重新训练，更新Q表，此时，用户根据更新的Q表进行新的跳频决策；

S8，用户通信完成，服务结束。

进一步，所述步骤S2中，采用双阈值能量检测算法来对干扰进行检测，多个感知节点周期性的检测所处频谱空间能量数据信息，信息处理中心将数据信息进行采样处理；