[发明专利]基于多用户强化学习的认知无线网络抗敌意干扰方法

权利要求书

1.基于多用户强化学习的认知无线网络抗敌意干扰方法，其特征在于包括以下步骤：

1)初始化认知源节点s学习因子α_s、折扣因子γ_s、步长n、学习速率δ_l和δ_w、当前发射策略π_s(t_s,u_s)，初始化Q_s值表、V_s值表和状态t出现的次数C(t_s)值为0；

所述Q_s值表为二维矩阵Q_s(T_s,A_s)，其中T_s是一个非空集合，表示系统认知源节点的所有可能状态，A_s为所有认知源节点可能行为集合；学习因子α_s、折扣因子γ_s、学习速率δ_l和δ_w取值范围为[0,1]；

通过比较当前发射策略π_s的预期Q值是否大于当前平均发射策略的预期Q值估计认知源节点的“输赢”，在认知源节点为“赢”时，选择学习速率δ＝δ_w，反之，在认知源节点为“输”时，选择学习速率δ＝δ_l；

当前发射策略赋值为1/|A_s|，而1/|A_s|表示认知源节点每个动作出现的平均概率，|A_s|表示的是行为集的长度，下标s表示认知源节点；

2)认知源节点s感知步长n＝1时的状态t，根据当前发射策略π_s(t_s,u_s)从状态t选择发射功率进行适当的探索；

所述状态t由两部分组成，分别为主用户接入状态σ和干扰机发射功率u_j，即认知源节点的状态表示为t＝(σ,u_j)，其中下标j表示干扰节点，当主用户占用目标信道时，σ＝0，否则σ＝1；干扰机发射功率u_j∈A_j，其中A_j表示干扰节点所有可能行为集合，自适应干扰机门限值为H_j，即合法信息的传输功率足以被接收节点成功接收时，自适应干扰机才发起攻击；所述当前发射策略是在初始状态t认知源节点通过ε贪婪策略选择发射功率

3)步长n＝n+1，计算认知源节点发射功率和观察下一个状态更新值表和值表；

所述发射功率表示认知源节点在状态t_sⁿ下的最优发射功率，发射功率u_s为A_s的一个动作，V值表和Q值表更新算法表示如下：

4)更新估计平均发射策略

所述平均发射策略的更新算法表示如下：

C(t_s)每次更新前需要根据出现对应状态的个数自加1，即C(t_s)＝C(t_s)+1，

其中，u'_s是步长n-1所选择的发射功率；

5)更新当前发射策略使其不断地接近Q学习的最优策略，即限制到一个合法且可最大化预期Q值之和的概率分布；

更新当前发射策略遵循发射策略π_s:t_s→P_s(A_s)认知，即表示状态空间到发射功率概率分布的映射，此概率分布最大化预期Q值之和，当前发射策略表示认知源节点在步长为n且状态为t下选择发射功率u的概率，认知源节点在状态t下选择最大化Q值的发射功率行为的概率逐渐增大，而选择其他发射行为的概率逐渐减小，其更新算法如下：

其中，a'表示发射功率；

6)根据环境的变化认知源节点重复步骤2)～5)，直到认知源节点学习的行为为最优发射策略。