[发明专利]基于规则约束训练的无人机集群智能任务执行方法和装置

权利要求书

1.一种基于规则约束训练的无人机集群智能任务执行方法，其特征在于，所述方法包括：

根据预设的无人机集群防御任务训练数据得到对应的训练环境数据，以待训练的无人机集群中的无人机为智能体，基于MADDPG算法建立所述训练环境数据对应的无人机集群任务执行模型；所述训练环境数据包括防御对象集合；

根据无人机的任务能力参数、所述训练环境数据和预设的任务目标数据，得到所述无人机集群任务执行模型中所述智能体的动作集、状态集和单步奖励函数；

使用预设的约束规则得到所述智能体从所述动作集中获取下一步动作时的动作子集，使用所述动作子集、所述状态集和所述单步奖励函数训练所述无人机集群任务执行模型中的所述智能体；其中，所述约束规则是根据所述智能体和防御对象的相对位置数据确定的；

使用训练好的无人机集群执行无人机集群防御任务；

所述约束规则的定义方式包括：

获取所述智能体和防御对象的相对距离值，当所述相对距离值持续减小时：

当所述相对距离值在预设的区间内时，获取使所述智能体最快离开所述防御对象的作用区域的航向角，根据所述航向角得到所述智能体从所述动作集中获取下一步动作时的动作子集；

或者，当V/dis大于预设值时，将所述智能体的加速度值设置为大于零，当V/dis小于预设值时，将所述智能体的加速度值设置为小于零；其中，V表示所述智能体的速度，dis表示所述相对距离值，V/dis表示所述智能体的速度距离比值；

根据所述加速度值得到所述智能体从所述动作集中获取下一步动作时的动作子集；

所述单步奖励函数的获得方式包括：

获取所述防御对象集合中预设的威胁值为最高的最大威胁目标，获取所述智能体和所述最大威胁目标的相对距离值；

根据所述训练环境数据和无人机的所述任务能力参数，得到所述智能体对所述防御对象的防御效果数据，得到所述防御对象对所述智能体的抵抗效果数据，以及得到所述防御对象对预设的保护区域的攻击效果数据；

根据所述训练环境数据得到所述防御对象的航向角，并得到所述防御对象和所述智能体的航向夹角；

根据所述智能体对应的所述相对距离值、所述防御效果数据、所述抵抗效果数据、所述攻击效果数据和所述航向夹角，得到单步奖励函数的值；其中，所述单步奖励函数的值与所述相对距离值、所述防御效果数据和所述航向夹角分别为正相关关系，所述单步奖励函数的值与所述抵抗效果数据和所述攻击效果数据分别为负相关关系。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的无人机集群防御任务训练数据得到对应的训练环境数据，以待训练的无人机集群中的无人机为智能体，基于MADDPG算法建立所述训练环境数据对应的无人机集群任务执行模型的步骤包括：

使用OpenAI仿真环境，根据预设的无人机集群防御任务训练数据得到对应的训练环境数据；

使用MADDPG算法将待训练的无人机集群中的无人机构建为智能体，根据所述智能体和所述训练环境数据建立对应的无人机集群任务执行模型。

3.根据权利要求2所述的方法，其特征在于，使用所述动作子集、所述状态集和所述单步奖励函数训练所述无人机集群任务执行模型中的所述智能体的过程包括：

根据所述训练环境数据和所述智能体的当前状态，得到所述智能体的当前状态数据；

使用预设的约束规则得到所述智能体从所述动作集中获取下一步动作时的动作子集，根据所述训练环境数据得到所述动作子集中的动作对应的所述单步奖励函数的值；

根据所述智能体获取到的下一步动作，更新所述训练环境数据和所述智能体的当前状态，根据所述单步奖励函数的值更新所述智能体获取下一步动作的策略数据。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述智能体的状态集中的状态包括所述智能体的位置、速度和航向角；其中，位置、速度和航向角的取值范围均为连续区间。