[发明专利]基于深度强化学习的多智能体攻防决策方法

权利要求书

1.基于深度强化学习的多智能体攻防决策方法，该攻防决策方法基于同一场景下的N个智能体和目标地标实现；智能体为飞行器，且每个智能体内嵌入深度神经网络，N为大于或等于5的整数；其特征在于，该攻防决策方法包括如下过程：

S1、根据场景构建攻防环境；

攻防环境中N个智能体被划分为两组，分别为进攻方和防守方，且进攻方内各智能体独立进攻，防守方所对应的所有智能体协同合作；

S2、将N个智能体与攻防环境进行交互，交互过程中每个智能体最大化自身奖励，构建适用于深度神经网络的数据集知识库；

所述数据集知识库内所有样本的数据维度相同，且每个样本中的数据为由同一采样轮次下的N个智能体的当前状态、动作、奖励和新状态构成；所述智能体的动作包括由水平面内的x轴方向和y轴方向的期望加速度构成的合成期望加速度；

构建适用于深度神经网络的数据集知识库的实现方式包括：

S21、设置数据集知识库内的样本数量为M；每个采样批次下包括多次采样；

S22、在第P个采样批次下，进行第l次采样，使攻防环境中N个智能体中每个智能体根据自身观测空间、当前状态和剩余N-1智能体的动作，并生成相应动作与攻防环境进行交互，获得相应的奖励、新状态；P的初始值为1，且每个采样批次下，l的初始值为1；

S23、判断第P个采样批次下的第l次采样，是否出现智能体坠毁，结果为是，执行步骤S24；结果为否，执行步骤S25；

S24、将第P个采样批次下第l次采样获得的所有数据删除，令P＝P+1，再对第P个采样批次下的所有智能体的当前状态重新初始化，执行步骤S22；

S25、将第P个采样批次下第l次采样获得的攻防环境中所有智能体的当前状态、动作、奖励和新状态，作为当前第P个采样批次下的一个样本存入数据集知识库，执行步骤S26；

S26、判断数据集知识库内的样本数量是否达到M，结果为否，执行步骤S27，结果为是，执行步骤S28；

S27、当当前第P个采样批次下样本数量达到45或进攻方内的智能体撞击目标地标时，令P＝P+1，执行步骤S22；否则，令l＝l+1，执行步骤S22；

S28、结束，完成数据集知识库的构建；

S3、从数据集知识库中随机抽取一批样本，利用同批样本同时对每个智能体的深度神经网络进行训练，获得训练后的智能体；其中，每个样本中的当前状态、奖励和新状态作为深度神经网络的输入，每个样本中的动作作为深度神经网络的输出；

S4、在当前攻防环境和预设攻防轮次下，使训练后的各智能体进行攻防决策。

2.根据权利要求1所述的基于深度强化学习的多智能体攻防决策方法，其特征在于，

防守方的智能体的目标为：阻止进攻方的智能体撞击目标地标、合作拦截进攻方的智能体、以及同时避免与进攻方的智能体撞击；

进攻方的智能体的目标为：撞击目标地标、同时躲避防守方的智能体的拦截。