[发明专利]一种基于多用户随机森林强化学习的抗干扰方法

权利要求书

1.一种基于多用户随机森林强化学习的抗干扰方法，其特征在于，包括N个主用户、R个中继节点，一个主用户和一个中继节点组成一个通信用户对；一个干扰机对用户通信实施干扰；每个通信时隙后，用户之间进行信息交互，基于多用户随机森林强化学习算法，每个用户对的接收端做出抗干扰决策，通过不断的“决策-反馈-调整”，实现抗干扰通信；具体包括以下步骤：

步骤1，初始化：设置初始化状态其中f_jx(0)表示在初始时刻干扰机所在的信道，表示初始时刻用户的联合信道动作；初始化各个用户的Q值表Q_n，n∈N，设置学习参数、仿真时隙数为k，k0；

步骤2，计算选择策略的回报值，观察选择策略后下一时刻的状态变化；

步骤3，根据当前回报值，以及观察到的下一时刻状态，更新用户Q值表；

步骤4，用户交互各自的评估函数，根据当前所有用户的评估函数之和选择联合动作，并按采用ε-greedy的策略更新方式；并返回步骤2；

循环步骤2～4，直至达到最大迭代次数，算法结束。

2.根据权利要求1所述的基于多用户随机森林强化学习的抗干扰方法，其特征在于，将当前时隙的频谱信息定义为状态，通过与环境进行不断交互，决策出联合最优决策，具体如下：

环境状态集定义为其中，表示k时隙时用户n和协助用户m选择的联合信道，表示为其中表示笛卡尔积，表示用户可选的信道集合；f_jx(k)表示干扰机在k时隙所在的信道；动作集表示为其中表示k时隙用户n和协助用户m选择的联合中继节点，表示为其中表示用户n可选的中继节点集合；用户在s^k状态下执行动作a^k转移到状态s^k+1的转移概率表示为对于立即回报r定义为：r_n＝SINR_n(f_txn，R_ni)。

3.根据权利要求2所述的基于多用户随机森林强化学习的抗干扰方法，其特征在于，步骤2中计算选择该策略的回报值，观察选择该策略后下一时刻的状态变化；具体过程如下：通信用户n接收端的信干噪比SINR表示为：

其中R_n表示用户n选择的中继节点，R_m表示用户m选择的中继节点，为中继节点R_n的放大系数，p_m表示用户m的传输功率，p_n表示用户n的传输功率，J表示干扰机的干扰功率，表示用户n发射机到中继节点R_n的信道增益，表示中继节点R_n到用户n接收机的信道增益，表示在中继节点R_n处的噪声，N_n表示用户n接收机的噪声，表示干扰机到中继节点R_n的信道增益，g_Jn表示干扰机到用户n接收机的信道增益；

公式(1)中，f_txn表示用户n的通信信道，f_txm表示用户m的通信信道，f_jx表示干扰信道；R_n表示协助用户n通信的中继节点，R_m表示协助用户m通信的中继节点，当f_txn≠f_jxf_txn≠f_txmR_n≠R_m时，表示用户n既不受外界干扰的攻击同时与其他用户之间也没有互扰；当f_txn＝f_jxf_txn＝f_txmR_n≠R_m，f_txn＝f_jxf_txn＝f_txmR_n＝R_m时，表示用户n既受到外界干扰的攻击，同时用户之间也存在互扰；当f_txn＝f_jxf_txn≠f_txmR_n≠R_m时，表示用户n只受到外界干扰的攻击，用户之间不存在互扰；当f_txn≠f_jxf_txn＝f_txmR_n≠R_m，f_txn≠f_jxf_txn＝f_txmR_n＝R_m时，表示用户n没有受到外界干扰的攻击，但是存在用户之间的互扰；当f_txn＝f_jxf_txn≠f_txmR_n＝R_m，f_txn≠f_jxf_txn≠f_txmR_n＝R_m时，表示用户n在不同信道上选择同一中继节点，造成通信失败。