[发明专利]一种协同通信干扰决策方法

权利要求书

1.一种协同通信干扰决策方法，其特征在于，该方法包括：

建立协同决策模型，提供决策环境；

基于深度强化学习，在Actor-Critic算法架构下提出一种融合优势函数的干扰决策算法，根据所述干扰决策算法输出最优的干扰方案。

2.根据权要求1所述协同通信干扰决策方法，其特征在于，定义所述协同决策模型所需的基本元素为：状态空间和动作空间；其中，状态空间表示某个目标跳频信号未被干扰的频点数量为h，定义状态空间S＝[h₁,h₂,...,h_n]，即表示所有目标跳频信号未被干扰的频点数；动作空间定义决策网络输出干扰动作为A，表示干扰站的部署阵地及干扰方向角对应的干扰动作编码，为降低算法的决策维度，在0°～180°范围内每a°可选择一个角度作为干扰方向角。

3.根据权利要求1所述协同通信干扰决策方法，其特征在于，所述基于深度强化学习，在Actor-Critic算法架构下提出一种融合优势函数的干扰决策算法，根据所述干扰决策算法输出最优的干扰方案，包括：

通过策略执行网络感知环境状态，获取t时刻各待干扰目标信号的频点数信息S_t，通过所述策略执行网络的拟合运算输出t时刻各干扰站的干扰动作A_t。

4.根据权利要求3所述协同通信干扰决策方法，其特征在于，所述基于深度强化学习，在Actor-Critic算法架构下提出一种融合优势函数的干扰决策算法，根据干扰决策算法输出最优的干扰方案，包括：

价值评估网络根据获取的t时刻和t+1时刻所述各待干扰目标信号的频点数信息S_t和S_t+1，分别输出t时刻所述干扰动作A_t的状态价值V(S_t)和t+1时刻所述干扰动作A_t+1的状态价值V(S_t+1)，来估计当前所述策略执行网络的策略的优劣。

5.根据权利要求4所述协同通信干扰决策方法，其特征在于，所述基于深度强化学习，在Actor-Critic算法架构下提出一种融合优势函数的干扰决策算法，根据所述干扰决策算法输出最优的干扰方案，包括：

基于全局思想设置奖励函数，通过在所述奖励函数中引入专家激励，针对各干扰站执行所述干扰动作A_t后引发的状态改变给出评价，即计算输出引入所述专家激励后的奖励值r。

6.根据权利要求5所述协同通信干扰决策方法，其特征在于，所述在奖励函数中引入专家激励，包括：

在基础奖励值r_base上加入一个额外的专家激励值r_exp，得到引入所述专家激励后的所述奖励值r，所述专家激励值r_exp为后续决策形成专家式引导，并对当前决策形成内部激励；

其中：专家激励值r_exp定义为：

r_exp＝N_cha×(N_jam+1) (1)

引入专家激励后的奖励值r定义为：

r＝r_base+r_exp (2)

式中：N_cha表示已被干扰的目标数量，N_jam表示当前干扰站成功干扰的目标数量。