[发明专利]一种基于自学习算法的智能群体协同战法生成方法

权利要求书

1.一种基于自学习算法的智能群体协同战法生成方法，其特征在于：包括以下步骤：

步骤S1：根据作战任务生成若干群体协同战术元动作；

步骤S2：抽象出每个群体协同战术元动作的具体群体算法，每个具体群体算法包括以下步骤：

S2.1：智能群体协同战法生成问题建模；运用分布式马尔可夫决策过程对群体协同战法生成问题进行建模；

S2.2：提出解决问题的神经网络模型；

S2.3：群体协同战法生成自学习算法；

步骤S3：利用自学习算法，无人集群根据作战因素生成一套相互协同的智能群体协同作战战法。

2.根据权利要求1所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：在步骤S1中，具体包括以下步骤：

S1.1：将作战任务划分为若干个作战时节；

S1.2：将每个作战时节按照作战行动划分为若干个阶段，每个阶段即为一个群体协同战术元动作。

3.根据权利要求1所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：在步骤S2.1中，分布式马尔可夫决策过程是基于马尔可夫假设的随机动态系统，用五元组{S，A，π，R，γ}表示表示，其中S为系统状态集合；A为动作集合；π为策略；R为奖励函数；γ(0＜γ＜1)为折扣因子，引入未来奖励的不确定性，表示在每个时间步长之后，环境反馈回智能体相应的折扣奖励。

4.根据权利要求3所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：群体协同战法生成问题建模的过程中，无人集群中各作战单元会与战场环境进行交互，在每个时间步长，作战单元通过观察环境得到状态S_t，而后执行某一动作a_t，环境根据a_t生成下一步长的S_t+1和r_t+1。

5.根据权利要求4所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：当确定策略π时，累计奖励服从一个分布，其在s处的期望值定义：

那么最优动作估值函数为：

从Q值就可以得出最优策略：

6.根据权利要求5所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：在步骤S2.1中，群体协同战法生成问题建模为：在初始态势S₀时，如何选择下一个群体协同战术元动作；群体协同战法生成的目标就是要寻找一个态势到群体协同战术元动作的映射，不断根据期望态势选择群体协同战术元动作，从而形成群体协同战术元动作序列，使得累计奖励最大；根据作战任务的不同，求解出策略π，根据策略π在战场环境中迭代优化生成群体协同战术元动作序列，进而生成群体协同战法。

7.根据权利要求6所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：在步骤S2.3中，群体协同战法生成自学习算法采用马尔可夫决策过程来生成群体协同战术元动作序列来组织战斗，通过长短时记忆神经网络和多层感知机预测群体协同战术元动作，再利用指针网络确定某个分群去执行该群体协同战术元动作，最后采用多层感知机确定执行时机。

8.根据权利要求7所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：设计价值网络，通过价值网络与上述网络共同组合的损失函数调整神经网络模型，完成群体协同战法生成的学习；自学习算法采用循环网络进行多步预测，并通过价值网络寻优。

9.根据权利要求1所述的一种基于自学习算法的智能群体协同战法生成方法，其特征在于：所述作战因素包括战场环境、敌方情况和我方态势。