[发明专利]一种基于强化学习的增强现实多智能体协作对抗实现方法

权利要求书

1.一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，包括如下步骤：

步骤1：在离线阶段，对真实场景进行建模，构建稠密的三维点云地图并三角网格化；

步骤2：仿照真实场景搭建虚拟仿真对抗环境对多智能体进行训练,包括如下步骤：

(1)仿照真实场景，再搭建虚拟仿真对抗场景，将多个智能体设置在该虚拟仿真对抗场景中；多个智能体分为互为对抗的两队，对抗双方均可在场景中自由移动，双方的任务目标均为团队协作配合歼灭对方装备，以此形成仿真对抗环境；

(2)为对抗双方分别设置一个策略模型，同队的智能体之间共享一套策略模型参数；

(3)利用三维渲染引擎Unity3D自带组件MLAgent完成对智能体的状态输入、奖励设置和动作输出；

(4)智能体根据不断输入的状态输入、奖励信息及动作输出对策略模型进行循环往复训练；

步骤3：训练完成后，在线阶段导入训练完成的智能体策略模型，将步骤1构建好的真实场景模型导入三维渲染引擎，并在其中添加刚体组件；然后将装备渲染在真实场景中的相应位置，实现后续增强现实仿真对抗环境的渲染绘制；

步骤4：实时获取用户的六自由度全局位姿，并传递给三维渲染引擎中的虚拟相机；

步骤5：导入真实摄像机捕获的画面，渲染在真实场景中；

步骤6：将步骤1中构建的真实场景模型隐藏，保留刚体组件，用于碰撞检测，最终形成用户在真实场景中与智能体进行交互的增强现实仿真对抗环境，与智能体之间形成协作完成对抗任务。

2.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，所述步骤2中，训练过程结合课程训练模式，将场景复杂度分为简单、中等、困难三个程度，在训练是按顺序采用该三个复杂度对策略模型进行训练。

3.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，所述步骤3中，利用世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的如下转换公式，将装备渲染在真实场景中的相应位置：

上式中，(ε,η,δ)是智能体在世界坐标系中的三维位置信息；T_CW表示从世界坐标系到相机坐标系的转换；相机模型决定相机坐标系与图像坐标系的转换关系；对于透视投影模型，θ表示相机的纵向视角，n是从相机中心到近裁剪平面的距离，f是从相机中心到远裁剪平面的距离，Aspect是投影图像的长宽比，K是相机的内部参数，Z_c和γ与深度有关。

4.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，采用实时跟踪定位算法实时获取用户的六自由度全局位姿。

5.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，智能体中采用python软件接收状态输入和奖励信息并训练模型。

6.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，所述步骤1中，利用三维激光扫描仪对真实场景进行建模。

7.如权利要求1所述的一种基于强化学习的增强现实多智能体协作对抗实现方法，其特征在于，状态输入包括：以向量形式表征的周围智能体的属性和方位以及自身相关状态信息；友方智能体的图像信息和位置信息。