[发明专利]一种面向博弈的雷达对抗策略生成方法

权利要求书

1.一种面向博弈的雷达对抗策略生成方法，其特征在于，具体步骤如下：

步骤1：将雷达和干扰系统看作博弈的两个玩家，设定对抗场景：设定雷达有N_radar个工作状态，干扰方有N_jam个干扰样式，设定雷达工作状态转换回报表，从根节点root出发构建雷达对抗博弈树，在树的每个终止节点根据状态转换回报表设置雷达和干扰系统的效用值u(I,a_i),i＝1,…,n；

设定迭代次数N_iter和每次迭代中博弈树从root节点开始的遍历次数K，设定对抗策略神经网络的训练频率N_s，设定神经网络的训练次数N_nn，设定判断对抗策略是否收敛的阈值θ；

每个玩家设置遗憾值和对抗策略两种神经网络，每个神经网络均有相应的训练样本缓存区，记为和缓存区存储的内容为(I,[d(I,a₁),…,d(I,a_n)]or[s(I,a₁)，…,s(I,a_n)],t)，神经网络的输入是I，输出为神经网络计算得到的预测遗憾值向量或预测对抗策略向量训练开始前清空四个缓存区和令迭代次数t＝1，跳转步骤2；

其中，训练频率N_s表示训练N_s次遗憾值神经网络后，训练1次对抗策略神经网络且满足N_iter％N_s＝0；上标r和s分别代表遗憾值和对抗策略，下标0和1分别代表雷达和干扰系统；缓存区内容：I表示博弈树每个节点对应的信息集，每个信息集有唯一且固定的玩家做出选择动作，每个可选动作用a_i表示，i＝1,2,…,n，n是可选动作数量，d(I,a_i)是遗憾值，表示当前信息集I下采取动作a_i的遗憾值，i＝1,…,n，是神经网络预测的遗憾值，i＝1,…,n，s(I,a_i)是对抗策略，表示在当前信息集下采取动作a_i的概率，i＝1,…,n，是神经网络预测的对抗策略，i＝1,…,n，t是当前博弈所处的迭代次数，在神经网络训练时用于对数据的加权计算，u(I,a_i)表示信息集I下动作a_i的效用值，i＝1,…,n；

步骤2：选择当前玩家p＝t％2，每次迭代过程从root节点开始遍历K次雷达对抗博弈树，每遍历到一个信息集节点I，若该信息集所属玩家为本次迭代的当前玩家p，输入信息集I，根据玩家p的遗憾值神经网络得到预测遗憾值向量根据来计算该信息集的对抗策略向量[s(I,a₁)，…,s(I,a_n)]，再通过遍历过程中得到的效用值和对抗策略向量乘加计算遗憾值向量[d(I,a₁),…,d(I,a_n)]，将该信息集节点I、遗憾值向量[d(I,a₁),…,d(I,a_n)]和当前迭代次数t存入当前玩家p的遗憾值缓存区

若该信息集I所属玩家为1-p，即非本次迭代的当前玩家，则输入该信息集I，求其在玩家1-p的遗憾值神经网络的输出根据来计算该信息集的对抗策略[s(I,a₁)，…,s(I,a_n)]，并将该信息集I、对抗策略[s(I,a₁)，…,s(I,a_n)]和当前迭代次数t存入玩家1-p的对抗策略缓存区

从root节点开始遍历K次博弈树之后，即1次迭代过程之后，根据当前玩家p的遗憾值缓存区中的数据训练N_nn次当前玩家的遗憾值神经网络，使输出的向量与期望向量[d(I,a₁),…,d(I,a_n)]尽可能地接近，即遗憾值神经网络损失函数L^r越来越接近0；

迭代N_s次后，即满足t％N_s＝0时，跳转步骤3；

步骤3：利用两个对抗策略缓存区的数据训练更新N_nn次两个对抗策略神经网络，使输出的向量与期望向量[s(I,a₁)，…,s(I,a_n)]尽可能地接近，即对抗策略神经网络损失函数L^s越来越接近0；

将每个信息集I输入至其对应玩家的对抗策略网络，并记录该策略；

若步骤2的累计迭代次数未达到N_iter，则回到步骤2再次进行迭代计算；

重复步骤2和步骤3至迭代次数达到N_iter后，令第N_iter次记录的对抗策略与第N_iter-N_s次记录的对抗策略作差并取绝对值，找到其中最大的元素，若其小于阈值θ，则此时两个对抗策略神经网络的输出应已达到收敛，双方已达到纳什均衡状态，得到了各自的纳什均衡策略；若其大于阈值θ，则说明尚未达到收敛，即迭代次数N_iter过小，需要跳回步骤1更改N_iter的值重新开始。