[发明专利]一种基于分层强化学习的雷达认知对抗方法

说明书

本发明公开了一种基于分层强化学习的雷达认知对抗方法，该方法为：首先将雷达认知对抗过程划分为上层宏观任务，确定雷达认知对抗过程中各宏观任务之间的连接关系，并关联雷达认知对抗过程中各任务相关的状态集合和其对应的动作集合；然后将雷达认知对抗过程进行任务分解，得到动作价值函数、状态价值函数、完成函数；接着进行雷达认知对抗的策略迭代，得到当前状态的最优对抗策略；再进行雷达认知对抗的策略搜索，更新状态价值函数和完成函数，得到当前最优的动作价值函数；重复进行策略迭代和策略搜索，直到雷达认知对抗策略趋于收敛。本发明降低了雷达认知对抗策略生成的复杂度，提升了策略学习的效率。

技术领域

本发明涉及电子对抗与人工智能技术领域，特别是一种基于分层强化学习的雷达认知对抗方法。

背景技术

随着战场电磁环境日益复杂，传统雷达对抗由于遵循固定的干扰策略，很难对具有学习能力的新型雷达实施有效干扰，将强化学习方法引入到雷达对抗领域，研究具有认知能力的对抗系统具有重要的现实意义。学习能力是认知系统的重要基本特征，强化学习(Reinforcement Learning，RL)通过智能体与环境不断交互，学习得到最优决策，实现收益的最大化。

传统强化学习无法将雷达对抗中层次化的先验知识融入到学习的过程中，面对雷达对抗中复杂的状态空间与决策空间，难以实现最优干扰策略的高效搜索，造成巨大的计算资源开销，并且策略学习的速度与准度较低。

发明内容

本发明的目的在于提供一种复杂度低、学习效率高、适应能力强的基于分层强化学习的雷达认知对抗方法。

实现本发明目的的技术解决方案为：一种基于分层强化学习的雷达认知对抗方法，包括以下步骤：

步骤1、将雷达认知对抗过程划分为上层宏观任务，确定雷达认知对抗过程中各宏观任务之间的连接关系；

步骤2、构建雷达认知对抗过程中的状态动作转移关系，关联雷达认知对抗过程中各任务相关的状态集合和对应的动作集合；

步骤3、通过贝尔曼方程将雷达认知对抗过程进行任务分解，得到动作价值函数、状态价值函数、完成函数；

步骤4、采用ε-greedy的方式进行雷达认知对抗的策略迭代，依概率ε进行随机策略探索，依概率1-ε根据动作价值函数，得到当前状态的最优对抗策略；

步骤5、通过深度优先搜索，进行雷达认知对抗的策略搜索，更新状态价值函数和完成函数，得到当前最优的动作价值函数；

步骤6、重复步骤4～步骤5，直到雷达认知对抗策略趋于收敛。

本发明与现有技术相比，其显著优点在于：(1)通过分层决策与递归学习算法，降低了认知对抗策略生成的复杂度，提升了策略学习的速度与准度；(2)通过任务的层次划分，减少了雷达认知对抗过程中的状态空间和决策空间；(3)通过引入雷达认知对抗过程中任务分层的领域知识，提高了雷达认知对抗过程中的策略搜索效率，减少了训练学习的总次数；(4)通过雷达认知对抗过程中各分层策略的复用和迁移，提升了雷达的快速适应对抗能力。

附图说明

图1为本发明一种基于分层强化学习的雷达认知对抗方法的流程示意图。

图2为本发明实施例中雷达认知对抗过程中的任务分层模型示意图。

图3为本发明实施例中雷达认知对抗过程中的动作状态转移关系示意图。

图4为本发明实施例中分层学习方法与Q学习方法的策略搜索效率对比示意图。

具体实施方式

结合图1，本发明一种基于分层强化学习的雷达认知对抗方法，包括以下步骤：

步骤1、将雷达认知对抗过程划分为上层宏观任务，确定雷达认知对抗过程中各宏观任务之间的连接关系；