[发明专利]一种基于分层强化学习的雷达认知对抗方法

权利要求书

1.一种基于分层强化学习的雷达认知对抗方法，其特征在于，包括以下步骤：

步骤1、将雷达认知对抗过程划分为上层宏观任务，确定雷达认知对抗过程中各宏观任务之间的连接关系；

步骤2、构建雷达认知对抗过程中的状态动作转移关系，关联雷达认知对抗过程中各任务相关的状态集合和对应的动作集合；

步骤3、通过贝尔曼方程将雷达认知对抗过程进行任务分解，得到动作价值函数、状态价值函数、完成函数；

步骤4、采用ε-greedy的方式进行雷达认知对抗的策略迭代，依概率ε进行随机策略探索，依概率1-ε根据动作价值函数，得到当前状态的最优对抗策略；

步骤5、通过深度优先搜索，进行雷达认知对抗的策略搜索，更新状态价值函数和完成函数，得到当前最优的动作价值函数；

步骤6、重复步骤4～步骤5，直到雷达认知对抗策略趋于收敛。

2.根据权利要求1所述的基于分层强化学习的雷达认知对抗方法，其特征在于，步骤1所述的将雷达认知对抗过程划分为上层宏观任务，确定雷达认知对抗过程中各宏观任务之间的连接关系，具体如下：

将雷达认知对抗过程的总体任务M₀划分为上层宏观任务{M₁，M₂，...，M_i}，确定雷达认知对抗过程中各宏观任务M_i之间的连接关系。

3.根据权利要求2所述的基于分层强化学习的雷达认知对抗方法，其特征在于，所述将雷达认知对抗过程的总体任务M₀划分为上层宏观任务{M₁，M₂，...，M_i}，确定雷达认知对抗过程中各宏观任务M_i之间的连接关系，具体如下：

步骤1.1、自顶向下进行雷达认知对抗过程的多层次任务划分，将雷达认知对抗的总体任务M₀分解为态势感知任务M₁、干扰决策任务M₂、效能评估任务M₃三个上层任务；

步骤1.2、将态势感知任务M₁向下划分为包含信号处理基础操作的态势感知具体任务；

步骤1.3、将干扰决策任务M₂向下划分为干扰策略推理任务M₄、干扰资源调度任务M₅和干扰实施任务M₆三个子任务，然后将干扰策略推理任务M₄向下分解为策略推理的基本动作，干扰资源调度任务M₅向下分解为资源调度的基本动作，干扰实施任务M₆向下分解为干扰实施的基本动作；

步骤1.4、将干扰效能评估任务M₃向下划分为干扰效果评估的具体任务。

4.根据权利要求3所述的基于分层强化学习的雷达认知对抗方法，其特征在于，步骤2所述的关联雷达认知对抗过程中各任务相关的状态集合和对应的动作集合，具体如下：

构建雷达认知对抗过程中的状态动作转移关系，关联雷达认知对抗过程中各任务M_i相关的状态集合{s_ij|s_ij∈S_i}和对应的动作集合{a_ij|a_ij∈A_i}。