[发明专利]一种基于深度强化学习的信息聚合短波选频方法

说明书

本发明公开了一种基于深度强化学习的信息聚合短波选频方法。该方法为：将高动态的短波环境下的选频问题，转化为高动态短波通信环境下的信道增益、用户间的互扰和环境中的干扰三个子问题；对于高动态短波通信环境下的信道增益问题，把短波信道情况输入神经网络，对短波下一个时刻的信道增益进行预测，并将输出记为G；对于用户间的互扰和环境中的干扰问题，通过深度强化学习网络训练得到下一个时刻选择每一个信道的通信干扰情况，并将输出记为R；把训练的到的G与R输入到信息聚合深度强化学习网络，通过数据的不断训练，深度强化学习网络得到下一个时刻信道选择的最优解，指导下一个时刻选频。本发明提升了复杂环境下的短波通信能力。

技术领域

本发明属于无线通信技术领域，特别是一种基于深度强化学习的信息聚合短波选频方法。

背景技术

随着短波技术的发展，面对复杂的电磁环境、恶意的干扰、其他用户的互扰如何选择频率已经成了一个非常现实的问题。文献1(J.L.Wang,HF Digital CommunicationResearch and Practice,Beijing:Science Press,2013:8-14.)提出了跳频抗干扰的方式，但普通跳频没有考虑到智能干扰的问题。文献2(.J.B.Guo,et al.,“A high speed HFfrequency hopping system based on software radio”in Proc.IEEE Conf.WCNM.2005,pp.550-503.)使用自适应建链技术，但自适应建链技术不仅要耗费很多感知的时间，在周遭环境变化快的时候无法适应。

如文献3(M.B.Jorgenson,et al.,“The next generation of ALE getting themost out of WBHF”in Proc.HF Nordic Shortwave Conf.,Faro,Sweden,2013,pp.15.)中记载的，随着人工智能的发展，深度强化学习便是一种很好的抗干扰选频方式。但已有的工作中，文献4(M.B.Jorgenson,et al.,“The next generation of ALE getting the mostout of WBHF”in Proc.HF Nordic Shortwave Conf.,Faro,Sweden,2013,pp.15.)中模型只考虑了智能干扰、动态干扰的情况，没有考虑用户的之间的互扰和高动态的信道环境变化的情况，在高动态的环境下可能会不适应。

发明内容

本发明的目的在于提供一种能够提高系统吞吐量、降低干扰影响的深度强化学习的基于深度强化学习的信息聚合短波选频方法。

实现本发明目的的技术解决方案为：一种基于深度强化学习的信息聚合短波选频方法，包括以下步骤：

步骤1，将高动态的短波环境下的选频问题，转化为高动态短波通信环境下的信道增益、用户间的互扰和环境中的干扰三个子问题；

步骤2，对于高动态短波通信环境下的信道增益问题，通过神经网络的预测功能，把短波信道情况输入神经网络，对短波下一个时刻的信道增益进行预测，并将输出记为G；

步骤3，对于用户间的互扰和环境中的干扰问题，通过一个深度强化学习网络训练得到在互扰环境下，预测下一个时刻可以选择信道的情况值，并将输出记为R；

步骤4，把训练得到的G与R输入到信息聚合深度强化学习网络里，通过数据的训练，深度强化学习网络得到下一个时刻信道选择的最优解；

步骤5，循环步骤3～步骤4，深度强化学习网络和信息融合深度强化学习网络两个网络同步进行更新，用户通过探索学习进行策略选择，直至所有用户的抗干扰策略实现收敛，或者达到设定的迭代次数。

进一步地，步骤2所述的通过神经网络的预测功能，把短波信道情况输入神经网络，对短波下一个时刻的信道增益进行预测，并将输出记为G，具体如下：