[发明专利]一种基于深度Q神经网络抗干扰模型的智能抗干扰方法及智能抗干扰系统

说明书

本发明公开了一种深度Q神经网络抗干扰模型及智能抗干扰算法。模型为：一组发射端和接收端对为一个用户，一个用户进行通信，一个或多个干扰机对用户通信进行干扰，将接收端的频谱瀑布图作为学习的输入状态，计算干扰的频域和时域特征。算法为：首先，通过深度Q神经网络得到拟合对应的Q值表；其次，用户依概率选择一个策略，根据该策略的回报值和下一步环境状态进行训练，并更新网络权重和选频策略；当达到最大循环次数时，算法结束。本发明模型完备，物理意义清晰，设计算法合理有效，能够很好地刻画基于深度强化学习算法的抗干扰场景。

技术领域

本发明属于无线通信技术领域，特别是一种深度Q神经网络抗干扰模型及智能抗干扰算法。

背景技术

由于无线通信环境的开放性，无线通信系统极易遭受恶意干扰的攻击。此外，由于人工智能技术的飞速发展，使得干扰智能化水平不断提高，未来的通信干扰将呈现“波形灵巧”、“决策智能”等典型特点，使得传统抗干扰技术(如跳频和扩频)的抗干扰能力明显下降，甚至完全丧失，给无线通信系统或网络的稳定和安全带来极大的挑战。因而，迫切需要研究更加高效的抗干扰方法。针对新型的干扰环境特性，引入人工智能技术将是一种可选的方案。用户采用各种智能学习的方法，对干扰波形样式、信号构成和决策规律等进行有效的分析，并以此为基础智能地选取对抗决策，将有效地提升其抗干扰能力。

考虑到干扰环境的动态特性，强化学习成为研究智能抗干扰问题最优决策的一种热门工具(参考文献：C.J.C.H.Watkins,et al.,“Q-learning,”Mach.Learn.,,vol.8,pp.279-292,1992)。然而，它无法拓展到状态决策空间庞大的应用环境。

发明内容

本发明的目的在于提供一种深度Q神经网络抗干扰模型及智能抗干扰算法，很好地刻画基于深度强化学习算法的抗干扰场景。

实现本发明目的的技术解决方案为：一种深度Q神经网络抗干扰模型，对该模型做如下刻画：一组发射端和接收端对为一个用户，一个用户进行通信，一个或多个干扰机对用户通信实施干扰；在动态未知环境中，将接收端的频谱瀑布图作为学习的输入状态，计算干扰的频域和时域特征，最终获取干扰的策略，并采用深度Q神经网络对Q函数进行拟合，作为该模型的决策依据。

进一步地，用户接收端的信干噪比SINR表示为：

公式中(1)中，f_t表示用户在代理指导下所选频率，t表示当前时刻；表示用户的功率，U(f)和b_u分别表示用户的功率谱密度和基带信号带宽，g_u表示用户发送端到接收端的信道增益，g_j表示干扰到用户接收端的信道增益， f_t^j表示干扰选择的干扰频率，表示干扰的功率谱密度函数，n(f)表示噪声的功率谱密度函数；

此外，用β_th表示成功传输所需要的SINR门限，定义归一化门限如公式(2)所示：

在接收终端部署了一个代理，该接收终端的功率谱密度函数如式(3)所示：

其中，j＝1,…,J表示干扰；

模型中的离散频谱采样值定义为：

其中，Δf表示频谱分辨率；i表示采样数，S(f+f_L)为式(3)所述功率谱密度函数、f表示采样频率、f_L为所选频率的下界；