[发明专利]基于深度强化学习的无人战车分队火力分配方法

说明书

本发明涉及一种基于深度强化学习的无人战车分队火力分配方法，属于火力分配、深度强化学习技术领域。本发明综合考虑作战任务、战场态势、目标威胁度、目标毁伤概率等多种因素，基于MDP建立无人战车分队的多回合火力分配模型，利用DQN算法对该模型进行求解，通过训练可以实现无人战车分队的多回合火力分配，整个作战过程中不再需要人为调整火力分配模型和参数，无人战车分队根据战场态势自行决定每个回合的打击目标，提高了火力分配决策的鲁棒性，弥补了现有火力分配方法的不足。

技术领域

本发明属于火力分配、深度强化学习技术领域，具体涉及一种基于深度强化学习的无人战车分队火力分配方法。

背景技术

新时代的战争形态正在由机械化、信息化向智能化、无人化加速变革，无人系统作战将成为一种颠覆性的新型作战样式主导未来战场。无人系统作战将不再是纯粹的武器与武器、平台与平台之间的较量，更是一种以分队为最小作战单元的体系与体系之间的对抗。地面无人战车作为未来陆军的主要无人作战装备，分队作战将会占有非常重要的地位。火力分配是根据作战任务、战场态势和武器性能等因素，将一定类型和数量的火力单元以某种准则进行分配，攻击一定数量敌方目标的过程。对于传统的有人装甲装备作战，可以通过直瞄方式进行协同火力打击；而对于无人战车分队作战，迫切需要通过合理的火力分配方法实现自动火力分配。

目前的火力分配方法解决的都是有人装备的火力分配问题，而且是单回合火力分配问题，即根据人为划分的作战阶段每次输出一个火力分配结果。解算火力分配模型的算法主要是启发式算法，有遗传算法、粒子群算法、模拟退火算法等。

目前的面向有人装备的单回合火力分配方法，由于只能根据人为划分的作战阶段每次输出一个火力分配结果，只能保证当前回合局部最优，但每一回合的火力分配局部最优解并不一定是整个作战过程的火力分配全局最优解。无人战车分队作战过程是敌我双方对抗博弈的动态过程，一般会持续多个回合，期间需要进行多回合的火力分配，本质上属于序贯决策问题。因此目前的火力分配方法不适用于解决高动态环境、强博弈对抗条件下的无人战车分队火力分配问题。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种无人战车分队多回合火力分配方法，提高火力分配决策的鲁棒性。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于深度强化学习的无人战车分队火力分配方法，包括以下步骤：

1)建立目标威胁度模型和目标毁伤概率模型，确定火力分配准则和火力分配的约束条件；

2)基于马尔科夫决策过程MDP建立无人战车分队的火力分配模型，包括状态集和动作集；

3)设计解算火力分配模型的DQN算法；

4)基于步骤1至步骤3求解无人战车分队火力分配模型。

优选地，步骤1具体包括以下步骤：

1-1)建立所述目标威胁度模型：假设我方m个无人战车打击敌方n个目标，每个无人战车每回合只能打击一个目标，用t_ij表示第j个目标对第i个无人战车的战场威胁度，得到目标威胁度矩阵W，维度为m×n，敌方目标对我方第i个无人战车的威胁度W_i计算公式为：式中y_j表示第j个敌方目标是否被损毁，取值为{0,1}，0表示目标j被损毁，1表示目标j未被损毁；

1-2)建立所述目标毁伤概率模型：用q_ij表示我方第i个无人战车对第j个敌方目标的射击毁伤概率，得到毁伤概率矩阵P，维度为m×n，我方第i个无人战车对第j个敌方目标的毁伤概率P_j的计算公式为式中s_i表示我方第i个无人战车的状态，取值为{0,1}，0表示我方第i个无人战车被损毁，1表示我方第i个无人战车未被损毁；