[发明专利]一种基于深度强化学习与图像视觉的作战仿真推演方法

说明书

本发明公开了一种基于深度强化学习与图像视觉的作战仿真推演方法，包括：搭建军事作战仿真环境，将搭建的仿真环境的RGB图像中每个像素作为输入特征，通过深度神经网络进行深层特征的提取；在MADDPG算法中对每一个智能体设置一个对应的局部Critic网络进行数据解耦，并通过优先经验回收机制对智能体进行采样，得到改进的MADDPG算法；基于深层特征，训练改进的MADDPG算法，直至奖励函数的损失收敛，完成对改进的MADDPG算法的训练；再次搭建一个军事作战仿真环境，输入训练好的改进的MADDPG算法中，输出最优的军事仿真推演模型。本发明作战仿真推演方法实现深度特征自动提取，鲁棒性强。

技术领域

本发明涉及到军事仿真推演领域，具体而言，涉及一种基于深度强化学习与图像视觉的作战仿真推演方法。

背景技术

军事仿真推演是军事决策的重要手段，随着深度学习和强化学习的发展，深度强化学习的出现让人工智能技术在军事仿真推演方面的应用有了新的发展方向。传统的强化学习模型使用人类手动编码的信息作为模型的输入。例如：红蓝方军事推演，将红蓝双方智能体的位置、速度、方向、军力等等要素作为输入的态势信息，以此来决定下一步的决策。视觉输入提供了丰富的信息，而这些信息很容易通过获得。人工从图像中提取有用的信息是比较困难的，而且往往是不准确的。有研究者尝试抛弃了原来的手工选定特征输入的形式，转而使用端到端的方式直接以图像作为输入来训练模型。尽管神经网络的出现让基于视觉的强化学习获得了一定的效果提升，可是在实际生活中使用视觉强化学习算法依然较为困难，一个亟待解决的问题是强化学习模型在有干扰的环境中会表现的极不稳定。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于深度强化学习与图像视觉的作战仿真推演方法，通过构建军事仿真推演环境和设计多智能体的奖励函数，将视觉强化学习引入到军事仿真推演领域，同时能够有效解决基于视觉的强化学习算法在不同背景的仿真环境中泛化能力差的问题。

为了达成以上技术目的，本发明采取的技术方案为：一种基于深度强化学习与图像视觉的作战仿真推演方法，包括以下步骤：

步骤S1、利用Gym库提供的接口进行自定义军事作战仿真环境的搭建；所述军事作战仿真环境包括：红方和蓝方的战斗机数量，蓝方水听阵数量，蓝方舰艇数量，红方和蓝方战斗机、蓝方水听阵、蓝方舰艇的位置及状态；

步骤S2、对于搭建的作战仿真环境中的每一个智能体，设计对应的奖励函数R(R_red,R_blue,R_ir,R_jb)；所述智能体为军事作战仿真环境中的战斗机；其中，R_red表示红方的全局奖励函数，R_blue表示蓝方的全局奖励函数，R_ir表示红方的每个智能体设计局部奖励函数，R_jb表示蓝方的每个智能体设置局部奖励函数；

步骤S3、将搭建的仿真环境的RGB图像中每个像素作为输入特征，通过深度神经网络进行深层特征的提取；

步骤S4、在MADDPG算法中对每一个智能体设置一个对应的局部Critic网络进行数据解耦，并通过优先经验回收机制对智能体进行采样，得到改进的MADDPG算法；

步骤S5、基于步骤S3提取的深层特征，训练改进的MADDPG算法，直至奖励函数的损失收敛，完成对改进的MADDPG算法的训练；

步骤S6、再次搭建一个军事作战仿真环境，重复步骤S2-步骤S3后，输入训练好的改进的MADDPG算法中，输出最优的军事仿真推演模型。

进一步地，步骤S1包括如下子步骤：

步骤S101、将Multi-Agent Particle环境与parl框架整合后安装到目录结构中；