[发明专利]一种智能博弈对抗平台

权利要求书

1.一种智能博弈对抗平台，其特征在于，包括仿真推演平台和AI对抗训练环境管理分系统；

所述仿真推演平台用于：仿真平台的运行和推演，同时接收管理用户提交的指令集合，对指令做出响应和反馈；对实体单元进行行动控制和状态监控；对对抗双方的作战任务进行维护；对仿真时间进行同步；

所述AI对抗训练环境管理分系统负责整个仿真环境的启停和运行控制；

所述仿真推演平台包括功能模型模拟模块，功能模型模拟模块负责实体单元模型、机动模型、导引头模型、武器模型、毁伤模型、指挥官模型的生成和管理；其中实体单元模型上加载挂载的设备模型、运动模型、毁伤模型、指挥官模型、武器模型共同组成实体单元，能够根据不同的气象、地理位置进行机动，能够模拟作战实体单元的剩余存储油量、存活状态、机动速度、武器挂载情况、位置、毁伤程度信息，能够根据指挥官模型控制实体单元的机动行动和对抗行动；

所述仿真推演平台还包括仿真引擎模块、任务管理模块、指令管理模块、实体模型模块、编队管理模块、时钟管理模块、状态管理模块和情报管理模块；

所述仿真引擎模块包含规则库、资源管理器、状态管理器；

规则库用于，通过自定义设定仿真引擎处理事件的规则；

资源管理器是管理仿真模型和事件的调度中心；

状态管理器中记录所有模型的运行状态和事件状态；

根据规则库的标准规范，按照时钟和事件顺序调度资源管理器，处理按照时间逻辑排序的事件或者输入的条件事件信息，同时更新状态管理器的状态；

所述任务管理模块负责管理所有仿真模型形成的实体单元的任务处理过程；所述任务是指实体单元按照智能体AI发来的作战指令执行作战任务；执行作战任务过程中包括任务的执行校验、任务分解，存储当前实体单元的任务状态和任务执行情况；

所述指令管理模块负责接收AI对抗智能体发过来的作战指令，进行指令格式和参数校验、指令转换、指令调度，同时保障指令高效并发处理；

所述实体模型模块用于模拟实体单元在航迹规划、侦察预警、情报融合、武器打击功能，实现模型的不同粒度多种功能仿真；

所述编队管理模块负责对实体单元进行编队建模，实现编队建立、编队解除、重新组编功能，支持实体单元按照编队任务和单体任务执行任务切换，同时记录编队任务执行状态；

所述时钟管理模块负责管理仿真环境的时间控制、加速倍数控制，支持平台推演速度按照实时对抗和训练的不同需要，选择不同的速率运行；

所述状态管理模块对所有实体单元当前的名称、属性、类型、编队状态、位置、速度、航向、导弹数量、攻击事件、任务状态信息进行维护；状态管理模块将所有实体单元的状态信息通过网络数据端口发送出去，形成态势信息；

所述情报管理模块按照对抗双方属性类别，通过情报融合、目标识别手段，分别管理对抗双方的情报信息，并对外报送；

所述仿真推演平台还包括框架接口，框架接口包括仿真推演平台对外提供的功能指令接口和态势输出接口；框架接口能够获取实体单元的位置、状态、速度、油量信息，通过提供的功能指令接口控制实体单元的行动；

框架接口将所有AI提供的指令发送给仿真引擎模块管理，将实体单元的状态信息发送给态势显示端；

所述AI对抗训练环境管理分系统提供环境配置、容器管控、运行控制、智能体关联、行为决策、数据记录功能：

其中，环境配置包括配置仿真推演平台的运行环境，以及对抗训练的条件设置，具体包括想定路径、想定名称、端口映射信息配置，还包括对抗双方属性配置、训练场次设置；

容器管控包括对仿真容器进行创建、启动、停止、删除操作；

运行控制包括对仿真推演平台进行加载想定、初始化、开始、暂停、结束操作，以及下达仿真倍速指令、设置仿真结束条件，以及控制仿真推演平台的启停操作，实现人机交互；

智能体关联用于将仿真推演平台的态势信息与相应的对抗双方属性进行绑定，控制态势权限，以确保对抗双方符合实际对抗环境中只能掌握局部态势的真实性；同时，在信息不完全、企图不明确的博弈条件下，智能体通过获取局部的态势信息，运行深度强化学习算法，通过回报函数自主训练形成智能AI；

行为决策包括：智能体依据深度强化学习算法，通过不断训练迭代生成智能体控制仿真平台决策行为，进行决策优化；

数据记录包括：进行数据收集，用于回溯分析和数据回放功能；

容器管控时，采用Kubernetes进行容器的管控，通过内置的负载均衡策略对应用实例进行管理、发现、访问；

所述平台的设计流程具体包括如下步骤：

步骤1，将仿真推演平台进行容器化配置，采用容器技术Docker配置仿真推演平台在容器中运行的环境参数脚本和基本参数脚本，包括仿真推演平台Docker容器镜像名称、功能动态库关联、想定文件名称和路径信息、仿真推演平台引擎推演倍速、推演对抗时长、平台对抗局数，以及端口配置信息；

其中，网络配置的端口有4个，分别是数据端口、Docker控制端口、AI智能体行动控制端口、调试观测端口；

步骤2，将仿真推演平台配置的Docker容器内部的日志记录文件路径与外部挂载文件路径形成映射关系；

步骤3，根据配置的Docker容器镜像名称和指定的端口配置信息，通过Docker容器管理平台创建仿真推演平台容器，同时将外部挂载的运行脚本、想定、功能动态库复制到新建容器的相应路径中；

步骤4，将生成的仿真推演平台Docker容器的对应端口与AI智能体进行绑定，形成对抗平台；

步骤5，设置对抗局数计数器；

步骤6.判断当前局数是否小于设定的对抗局数，如果是，对抗局数计数器加1，并跳到步骤7；否则执行步骤17；

步骤7，加载对抗想定文件；

步骤8，设置仿真推演平台引擎仿真倍速，启动推演引擎；

步骤9，获取仿真推演平台送出的态势观测数据，进行数据解析；

步骤10，判断是否达到对抗目的，如果否，跳到步骤11，如果是，跳到步骤15；

步骤11，判断对抗时间是否达到指定时长，如果否跳到步骤12，如果是，跳到步骤15；

步骤12，智能体依据当前态势数据，围绕作战目标，下定指挥决策行动指令给仿真推演平台；

步骤13，仿真推演平台中对应的实体单元收到指挥决策行动指令以后，根据当前自己的任务状态判断是否能够接收新的指令，如果是，则执行指令，否则，丢弃指令；

步骤14，跳到步骤9重复执行；

步骤15，结束推演引擎；

步骤16，跳到步骤6重复执行；

步骤17，结束。