[发明专利]一种基于博弈的强化学习方法、系统、终端及存储介质

权利要求书

1.一种基于博弈的强化学习方法，其特征在于，包括：

根据输入的博弈规则，基于行为树将学习任务分解为一组子任务；

确定每个子任务对应的状态空间、动作空间和奖励函数，并构建强化学习模型；

将同一组子任务的强化学习模型的参数进行共享，对所有子任务的强化学习模型进行混合训练；

在满足收敛条件的情况下，输出训练的强化学习模型；

所述确定每个子任务对应的状态空间、动作空间和奖励函数，包括：

确定每个所述子任务对应的全局环境图层和局部环境图层，其中，所述全局环境图层为所述状态空间在全局视角下的环境特征图层，所述局部环境图层为所述状态空间在智能体视角下的环境特征图层；

所述确定每个所述子任务对应的全局环境图层和局部环境图层，包括：

获取第一智能体的局部环境图层中的多项环境特征；

将第一智能体的视角角度划分为多个方向块，并确定每个所述方向块对应的态势，所述态势为所述多项环境特征中一项环境特征的总和；

将所述总和放缩到预设范围；

所述构建强化学习模型，包括：

根据所述全局环境图层和局部环境图层，构建强化学习模型，所述强化学习模型用于输出智能体的动作和/或状态值，所述全局环境图层通过多层神经网络与局部环境图层的一端进行向量连接，所述局部环境图层的另一端与多层神经网络进行向量连接，所述神经网络包括全连接层、注意力层和循环神经网络层；

所述环境特征包括第二智能体的数量、距离和威胁程度，第一智能体为我方单位，第二智能体为多个敌方单位。

2.根据权利要求1所述的方法，其特征在于，所述全局环境图层中包括环境地形、环境迷雾、博弈双方信息。

3.一种基于博弈的强化学习系统，其特征在于，包括：

规则输入单元，配置用于根据输入的博弈规则，基于行为树将学习任务分解为一组子任务；

模型构建单元，配置用于确定每个子任务对应的状态空间、动作空间和奖励函数，并构建强化学习模型；

混合训练单元，配置用于将同一组子任务的强化学习模型的参数进行共享，对所有子任务的强化学习模型进行混合训练；

模型输出单元，配置用于在满足收敛条件的情况下，输出训练的强化学习模型；

所述模型构建单元，还配置用于：

确定每个所述子任务对应的全局环境图层和局部环境图层，具体为：获取第一智能体的局部环境图层中的多项环境特征；将第一智能体的视角角度划分为多个方向块，并确定每个所述方向块对应的态势，所述态势为所述多项环境特征中一项环境特征的总和；将所述总和放缩到预设范围，其中，所述全局环境图层为所述状态空间在全局视角下的环境特征图层，所述局部环境图层为所述状态空间在智能体视角下的环境特征图层；

所述模型构建单元，还配置用于：

根据所述全局环境图层和局部环境图层，构建强化学习模型，所述强化学习模型用于输出智能体的动作和/或状态值，所述全局环境图层通过多层神经网络与局部环境图层的一端进行向量连接，所述局部环境图层的另一端与多层神经网络进行向量连接，所述神经网络包括全连接层、注意力层和循环神经网络层；

所述环境特征包括第二智能体的数量、距离和威胁程度，第一智能体为我方单位，第二智能体为多个敌方单位。

4.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1或2所述的方法。

5.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1或2所述的方法。