[发明专利]基于强化学习的无人机辅助物联网抗敌意干扰方法和系统

说明书

本发明公开了一种基于强化学习的无人机辅助物联网抗敌意干扰方法，包括：建立抗敌意干扰攻防Stackelberg博弈模型，其中地面传感器节点、无人机和智能干扰机为博弈的三个参与者；推导所述抗敌意干扰攻防Stackelberg博弈模型中的博弈均衡点及其存在条件，所述博弈均衡点包括智能干扰机的最优干扰功率、无人机的最优发射功率、无人机的最优移动距离以及地面传感器节点的最优发射功率；在未知干扰模型的条件下，引入WoLF‑PHC算法动态优化地面传感器节点的发射功率、无人机的发射功率和无人机的移动轨迹。本发明公开了一种基于强化学习的无人机辅助物联网抗敌意干扰方法和系统，通过及时调整无人机轨迹或者发射功率来抵抗干扰信号强度可变的智能干扰。

技术领域

本发明涉及物联网技术领域，特别涉及一种基于强化学习的无人机辅助物联网抗敌意干扰方法和系统。

背景技术

利用无人机(unmanned aerial vehicles，UAV)可控的机动性，可以解决物联网(Internet of Things，IoTs)覆盖范围受限的问题，IoTs与UAV的组合可实现更多样化的物联网应用。在一些地理环境复杂的地方，如灾区、高速公路和闹市等，物联网设备中的地面传感器节点(ground sensor nodes，GSN)到基站(base station，BS)的直达链路受损，UAV可以作为中继，辅助地面网络顺利通信。然而，无线电传播的广播性质使得UAV通信易遭受敌意干扰攻击，一旦无线链路被干扰，影响正常通信。

现有的无人机(unmanned aerial vehicles，UAV)抗敌意干扰方案通常采用单一的飞行轨迹或者跳频等策略，可抵御固定干扰功率的攻击，却对干扰信号强度可变的智能干扰机(Jammer)束手无策。其次，现有方案假设UAV对外界环境变化信息已知，由于无线信道的时变性，UAV的高移动性，以及随时可变的干扰强度，UAV无法精确获知当前信道增益或干扰信号强度等信息。相应的，UAV也无法及时调整自己的轨迹或者发射功率来抵抗智能干扰。

发明内容

本发明要解决的技术问题，在于提供一种基于强化学习的无人机辅助物联网抗敌意干扰方法和系统，通过及时调整无人机轨迹或者发射功率来抵抗干扰信号强度可变的智能干扰。

第一方面，本发明提供了一种基于强化学习的无人机辅助物联网抗敌意干扰方法，包括：

步骤10、建立抗敌意干扰攻防Stackelberg博弈模型，在所述抗敌意干扰攻防Stackelberg博弈模型中地面传感器节点、无人机和智能干扰机为博弈的三个参与者；

步骤20、推导所述抗敌意干扰攻防Stackelberg博弈模型中的博弈均衡点及所述博弈均衡点的存在条件，所述博弈均衡点包括智能干扰机的最优干扰功率、无人机的最优发射功率、无人机的最优移动距离以及地面传感器节点的最优发射功率；

步骤30、在未知干扰模型的条件下，引入WoLF-PHC算法动态优化地面传感器节点的发射功率、无人机的发射功率和无人机的移动轨迹。

进一步地，所述步骤10具体包括：

步骤11、在时隙k内，无人机在初始位置收到地面传感器节点发送的信息，然后以速度直线飞行到目标位置L^(k)，将信息转发给位于L_B的基站，智能干扰机对基站实施干扰；

步骤12、定义A_i为功率集，i∈(s,u,j)，其中s表示地面传感器节点，u表示无人机，j表示智能干扰机，D为无人机飞行距离动作集，|A_i|表示功率集中元素的个数，|D|表示动作集中元素的个数；