[发明专利]一种基于全局态势信息的航空兵体系智能行为建模方法

权利要求书

1.一种基于全局态势信息的航空兵体系智能行为建模方法，其特征在于，包括以下步骤：

S1：根据航空兵空战特点以及影响航空兵空战结果相关因素的重要程度，提取关键元素构建环境状态空间向量，对航空兵空战战场态势进行有效表示；选取己方火力网络连通域占比A_r、己方信息网络连通域占比I_r、敌方火力网络连 通域占比A_b、敌方信息网络连通域占比I_b、武器弹药剩余百分比ξ、航空兵编队战损比ε，组成环境状态空间向量S＝〈A_r，I_r，A_b，I_b，ξ，ε描述航空兵作战的战场态势；

S2：利用基于二维GIS态势图的态势特征提取及感知算法获取环境状态空间向量中不能直接获取的环境态势信息A_r、I_r、A_b和I_b，基于具备图形特征的二维GIS态势图即己方信息探测范围、火力打击范围以及探测到的敌方兵力实体位置均已有明显颜色区分，进行图像特征提取，得到己方和敌方的信息网络连通域和火力网络连通域单色特征图层，实现强化学习对态势环境信息的感知；

在图像特征提取部分，采用基于颜色的特征提取方法提取二维GIS态势图像中蕴含的图像颜色特征，并去除非特征像素的色值，得到己方航空兵体系作战实体组成的信息网络连通域和火力网络连通域，作为反映己方即智能蓝方作战态势的两幅单色特征图层；同时通过特征提取方法定位到敌方作战实体，调取己方武器装备规则库中对应的实体信息，模拟敌方即智能红方作战实体组成的信息网络连通域和火力网络连通域，生成反映敌方作战态势的两幅单色特征图层；

S3：设计航空兵兵力体系的作战行为空间；根据航空兵体系中兵力编队的作战特点，划分飞机编队的可执行任务集合；航空兵体系中飞机编队的可执行任务集合共同构成航空兵体系的作战行为空间；

S4：采用基于网络连通域最大化的奖励值生成算法生成有效实时奖励机制；

对步骤S2得到的特征图层进行颜色直方图统计，计算信息网络连通域和火力网络连通域的赋色像素在单色特征图层中的数量占比，得到表征己方和敌方态势特征的数值化参数，通过权重综合量化得到双方的作战优势量化参数，设计基于作战优势对比的奖励函数，对智能体的每一次行为决策提供正负分明的实时奖励反馈，以此奖励机制驱动智能体做出持续优化的行为决策；

S5：构建状态转移模型并设计行动选择策略；

航空兵空战态势的转移符合一阶马尔科夫决策过程，即状态转移概率只与当前状态相关；采用贪婪-随机算法设计行为选择策略，在特定状态选择效用最大的行为，同时为行为选择添加随机性，允许航空兵编队在状态空间中“探索”；

S6：基于时序差分算法，融合步骤S1-步骤S5中形成的航空兵状态空间向量、状态转移模型及行动选择策略算法以及基于网络连通域最大化的奖励值生成算法，形成航空兵作战对抗中的改进强化学习框架，基于此框架进行兵力Agent的迭代学习训练。