[发明专利]拟态物理法与DDQN结合的无人机集群空战决策方法

说明书

本发明公布了拟态物理法与DDQN结合的无人机集群空战决策方法，涉及空战决策技术领域。所述方法首先建立无人机的质点运动模型，无人机与邻居个体之间、无人机与目标之间的相对几何位置关系；其次，利用拟态物理法描述无人机与周围个体的作用力；然后，建立无人机集群系统的连续状态空间，描述无人机集群个体之间的复杂耦合关系；接着，综合考虑集群无人机在空战中靠近目标区域、发动进攻、联合打击效能和被击毁等因素建立奖赏函数，保证了无人机之间的相互协作；最后，利用DDQN算法训练无人机集群获得最优空战策略。本发明可使无人机集群自主实现分群搜索、合作围捕、友军支援等复杂的空战行为，具有较好的集群作战效率。

技术领域

本发明属于无人机空战决策领域，特别是拟态物理法与DDQN结合的无人机集群空战决策方法。

背景技术

无人机集群空战机动决策是指集群系统被投放到作战区域后，通过自主决策完成目标搜索、友军支援、合作打击等作战任务。与传统的多无人机作战相比，无人机集群系统作为一个有机整体，不依赖于中央决策系统的调度，是一种更高层次的智能表现。

根据是否依赖于决策模型，决策方法可分为基于模型的解析方法和以专家系统、强化学习为代表的无模型方法。解析方法主要包括矩阵博弈、微分对策等，即首先建立空战模型，如影响图、策略评估函数、零和博弈等，然后通过自适应规划、差分进化算法、模拟退火算法等求解最优策略。然而，由于实际作战环境中的信息往往具有不确定性和不完备性等复杂特性，很难建立精确的决策模型，因此近年来无模型方法成为了研究热点。强化学习是一种不需要事先准备样本集的学习算法，比较适合应用于无样本或样本采集困难的军事领域。陈侠等通过建立无人机集群空战的马尔科夫决策过程(Markov Decision Process，MDP)模型，利用启发式强化学习对大规模无人机集群进行训练，无人机集群在空战中表现出较高的智能水平。但是该方法随着状态空间维度的增加计算量会呈指数爆炸，且对于连续状态空间问题不再适用。深度强化学习算法是借助深度神经网络较好的非线性表征能力，将强化学习模型中的值函数、策略等使用深度神经网络进行拟合，并采用梯度下降等方法对神经网络参数进行优化，已被大量应用于集群决策领域。DeepMind团队将深度Q网络(Deep Q-network，DQN)用于多智能体的矩阵博弈，并通过三个多智能体博弈案例证明通过DQN算法学习，智能体能够获得更好的决策能力。OpenAI团队将Actor-Critic算法用于合作-竞争环境下的多智能体决策问题，利用信息交流机制解决了多智能体决策问题中环境动态变化导致的算法不收敛的问题。

发明内容

本发明的目的在于提供拟态物理法与Double DQN(Artificial Physics basedDouble DQN，AP-DDQN)结合的无人机集群空战决策方法，解决了无人机集群自主实现分群搜索、合作围捕、友军支援等复杂的空战行为。

为实现上述目的，本发明采用以下技术方案：

拟态物理法与DDQN结合的无人机集群空战决策方法，包括：

步骤一，在无人机集群系统中，建立无人机的质点运动模型，建立无人机与其邻居个体之间、无人机与目标之间的相对几何位置关系。

步骤二，对于由N架无人机组成的无人机集群系统，定义无人机UAV_j的状态感知空间Ω_i为其中为距离UAV_i最近的N_uav架邻居个体组成的集合，为距离UAV_i最近的N_aim个目标组成的集合。

步骤三，根据拟态物理法计算集群系统无人机UAV_j∈Ω_i对无人机UAV_i相互作用力F_i，包括无人机之间避碰作用力和速度一致作用力。

步骤四，对于任意时刻t，计算无人机UAV_i的状态