[发明专利]一种基于星际争霸II的指挥控制系统

说明书

本发明公开了一种基于星际争霸II的指挥控制系统，即基于星际争霸II的游戏环境，利用多智能体强化学习算法来控制单元的作战和资源的调度。本发明中提供了操控的方式，可以选择两种对弈模式：人机对弈和机机对弈、选择不同场景及自定义场景、选择不同多智能体算法模块、观看复盘结果、在线训练。本发明无需了解星际争霸II的强化学习环境，可以直接操作仿真系统观察整个算法的训练过程，封装了繁琐的环境配置、功能调用等环节。对无技术背景人员提供了技术的支撑。集中式的功能解决了多用户的需求。可直观的看到仿真的过程细节问题。

技术领域

本发明涉及在星际争霸II上仿真的基于多智能体强化学习调度的的指挥控制系统，尤其是一种基于星际争霸II的指挥控制系统。

背景技术

SC2LE(StarCraft II Learning Environment)，一种基于星际争霸II的强化学习环境。星际争霸II游戏环境能够很好地仿真多智能体系统。游戏中几个参与者争夺影响力和资源，每个玩家需要控制数百个单位，需要通过合作执行联合作战的策略以实现共同目标，与该项目中的需求支持联合作战行动规划所一致。星际争霸II游戏环境能够实现不完美信息博弈。游戏中能够获取的信息并不完全，仅能通过本地摄像机(玩家可以移动以整合信息)部分观察地图，可以模拟本项目中的军事作战环境信息不完全、随机性大等场景；同时星际争霸II游戏环境还存在一种“模糊战争”状态，玩家必须积极探索地图上未访问的区域。星际争霸II游戏环境中战术空间广阔多样，可对兵力选择、弹药匹配、目标选择、瞄准点选择、时效性、空间资源分配等多种作战任务进行规划。星际争霸II是由虚幻三游戏引擎所制作，以3D方式呈现游戏界面。但该界面图像并不能直接使用，需要通过深度神经网络提取图像特征。为了方便，SC2LE环境已经提供了从普通画面中抽象出来的“特征层”。游戏界面主要分为游戏画面和小地图，因此特征层共有13个游戏画面特征层，和7个小地图特征层。其游戏环境状态空间大，可满足项目中支持灵活设置地形地貌的要求。

与单智能体不同，在多智能体的场景中，智能体之间需要进行有效的通信，从而能够在整体上做出最好的决策。在星际争霸II游戏环境中，伴随着智能体数量的不断增加，通信效率将会大打折扣。利用深度强化学习设计高效的网络结构与算法框架，使得在星际争霸游戏环境中，智能体之间能够进行更为有效的沟通，从而实现智能体间的通信机制，更好地辅助决策和任务规划。除了将多智能体强化学习应用于有效通信，多智能体强化学习还将致力解决复杂战场环境下的最优作战任务规划和最优作战任务策略的学习。特别在多智能体系统中，单个智能体最优的策略组合并不是全局最优策略(非Pareto优解)。传统的多智能体强化学习方法主要应用于有限数量智能体的环境，随着智能体数量的增加，其应用效果将受到巨大影响。特别是在大规模的作战场景中，由于智能体的数量巨大，对算法的计算性能要求较高。因此，利用多智能体强化学习算法，解决大规模(和超大规模)场景下的多智能体协同，真正实现群体智能化和全域联合作战任务规划。

发明内容

发明目的：本发明针对星际争霸II学习环境，构建了基于多智能体强化学习的仿真环境，适用于内置的场景或自定义场景，也适用于自定义的多智能体算法模型。

技术方案：一种基于星际争霸II的指挥控制系统，包括在线训练和离线仿真两个部分；

所述离线训练部分包括：(1)人人对弈与机机对弈，(2)可选的地图场景和自定义的多智能体算法模块，(3)基于暴雪官网的星际争霸II地图编辑器，可构建任意环境下的不同作战单元及场景，(4)离线复盘，基于仿真训练结果复盘整个仿真过程；

所述在线训练部分包括：基于Starcraft2Env的参数设置，重训练多智能体算法模块。

在进一步的实施例中，所述离线训练具体流程：

步骤(1)：在所述离线训练中，根据对弈模式选择自定义的多智能体算法模块，包括QMIX、VDN、COMA等；