[发明专利]基于规则约束训练的无人机集群智能任务执行方法和装置

说明书

本申请涉及一种基于规则约束训练的无人机集群智能任务执行方法和装置。所述方法包括：根据无人机集群防御任务训练数据建立训练环境，以集群中的无人机为智能体，基于MADDPG算法建立无人机集群任务执行模型。根据无人机的平台参数和任务目标数据，得到无人机的动作集、状态集和单步奖励函数。由无人机和防御对象的相对位置确定约束规则，使用约束规则限定无人机在从动作集中获取下一步动作时可选择的动作子集。根据无人机集群任务执行模型的训练结果，使用无人机集群执行相应的防御任务。上述方法可根据行动经验约束无人机的下一步动作，减少无人机在训练过程中的无效探索，使其能够选择更有效的行动方式，通过训练获得更优化的行动策略。

技术领域

本申请涉及无人机智能任务执行技术领域，特别是涉及一种基于规则约束训练的无人机集群智能任务执行方法和装置。

背景技术

随着无人机小型化、智能化、集群化技术快速发展，无人机集群已经具有了智能任务执行能力，并已经应用于完成多种类型的任务。区域防御任务是无人机集群应用中最为常见的任务类型之一。目前，对无人机集群在执行区域防御任务时，如何针对多个移动的防御对象实现有效的对抗和防御效果这一问题的研究还处在初步阶段。在对无人机集群进行训练时，由于受训练的无人机个体和人类思维方式不同，不能通过已有的经验直接得知在某个状态下的最优策略，因此训练得到的无人机个体和无人机集群其获得的最优策略并不一定是实际上的最优策略，无法很好地确保对防御对象实现有效的快速追击、驱逐出境、精准打击等需要的操作。

发明内容

基于此，有必要针对上述技术问题，提供一种能确保无人机个体获得最优行动策略的一种基于规则约束训练的无人机集群智能任务执行方法和装置。

一种基于规则约束训练的无人机集群智能任务执行方法，包括：

根据预设的无人机集群防御任务训练数据得到对应的训练环境数据，以待训练的无人机集群中的无人机为智能体，基于MADDPG算法建立训练环境数据对应的无人机集群任务执行模型。训练环境数据包括防御对象集合。

根据无人机的任务能力参数、训练环境数据和预设的任务目标数据，得到无人机集群任务执行模型中智能体的动作集、状态集和单步奖励函数。

使用预设的约束规则得到智能体从动作集中获取下一步动作时的动作子集，使用动作子集、状态集和单步奖励函数训练无人机集群任务执行模型中的智能体。其中，约束规则是根据智能体和防御对象的相对位置数据确定的。

使用训练好的无人机集群执行无人机集群防御任务。

其中一个实施例中，约束规则的定义方式包括：

获取智能体和防御对象的相对距离值，当相对距离值持续减小时：

当相对距离值在预设的区间内时，获取使智能体最快离开防御对象的作用区域的航向角，根据航向角得到智能体从动作集中获取下一步动作时的动作子集。

其中一个实施例中，约束规则的定义方式包括：

获取智能体和防御对象的相对距离值，当相对距离值持续减小时：

当V/dis大于预设值时，将智能体的加速度值设置为大于零，当V/dis小于预设值时，将智能体的加速度值设置为小于零。其中，V表示智能体的速度，dis表示相对距离值，V/dis表示智能体的速度距离比值。

根据加速度值得到智能体从动作集中获取下一步动作时的动作子集。

其中一个实施例中，单步奖励函数的获得方式包括：

获取防御对象集合中预设的威胁值为最高的最大威胁目标，获取智能体和最大威胁目标的相对距离值。

根据训练环境数据和无人机的任务能力参数，得到智能体对防御对象的防御效果数据，得到防御对象对智能体的抵抗效果数据，以及得到防御对象对预设的保护区域的攻击效果数据。