[发明专利]一种基于深度强化学习的武器目标智能分配方法

权利要求书

1.一种基于深度强化学习的武器目标智能分配方法，其特征在于，包括：

设计武器目标分配问题的SAC深度强化学习求解环境；

建立武器目标分配SAC深度强化学习网络模型；

训练武器目标分配SAC深度强化学习网络模型；

应用武器目标分配SAC深度强化学习网络模型的训练结果，实现武器目标分配问题求解，并针对应用场景变化开展武器目标分配SAC深度强化学习网络模型优化，完成SAC深度强化学习算法的自学习和在线升级。

2.如权利要求1所述的方法，其特征在于，所述设计武器目标分配问题的SAC深度强化学习求解环境，包括状态模型设计、动作模型设计和奖励模型设计；

其中，状态模型设计，具体包括：选取目标序号、目标价值系数、毁伤等级、打击方案列表、其他目标信息列表和打击方案标签作为状态信息；

动作模型设计，具体包括：根据每个目标最多可用的打击方案数量，设计武器目标分配SAC深度强化学习求解环境的动作，为对应的目标选择打击方案以完成武器目标动作分配；

奖励模型设计，具体包括：建立基于预期打击效益、使用武器数量、使用武器种类数量和剩余武器能力四个指标综合评价的武器目标分配决策效果评价函数，作为该问题的奖励函数。

3.如权利要求1所述的方法，其特征在于，所述建立武器目标分配SAC深度强化学习网络模型，包括：建立基于(CONV/FC/GRU)混合架构的武器目标分配决策动作网络，建立武器目标分配决策价值网络。

4.如权利要求1所述的方法，其特征在于，所述建立武器目标分配SAC深度强化学习网络模型，还包括计算武器目标分配决策动作的分布概率，对无效动作进行屏蔽、规避无效决策，选取概率值最大的决策动作，作为武器目标分配结果。

5.如权利要求1所述的方法，其特征在于，所述训练武器目标分配SAC深度强化学习网络模型，包括搭建武器目标智能分配算法的前台应用与后台训练一体化综合运用环境，完成SAC深度强化学习网络训练。

6.如权利要求5所述的方法，其特征在于，所述前台应用与后台训练一体化综合运用环境，包括训练环境和应用环境；

搭建前台应用与后台训练一体化综合运用环境的具体过程，包括：训练场景想定、生成状态特征、SAC深度强化学习网络模型、执行决策动作、采用SAC深度强化学习算法完成训练与优化、进行目标分配、输出SAC深度强化学习网络模型结果。

7.如权利要求6所述的方法，其特征在于，所述采用SAC深度强化学习算法完成训练与优化、进行目标分配、输出SAC深度强化学习网络模型结果包括两步：

第一步，利用武器目标分配价值网络计算动作价值；

第二步，采用梯度下降法更新武器目标分配价值网络，使用梯度上升法更新武器分配决策动作网络模型。

8.如权利要求1所述的方法，其特征在于，所述武器目标分配问题求解包括将训练好的武器目标分配SAC深度强化学习网络模型接入应用环境中的任务规划系统。