[发明专利]智能体决策制定方法、AI模型训练方法、服务器及介质

权利要求书

1.一种基于AI模型的智能体决策制定方法，其特征在于，包括：

获取3D虚拟环境中智能体当前帧状态信息、以及当前帧3D地图信息；所述当前帧3D地图信息为以所述智能体当前所在位置为中心的预设范围内的相对地图信息；

通过AI模型的时序特征提取模块基于所述当前帧状态信息、所述当前帧3D地图信息，输出所述智能体对应的当前帧动作输出信息；

根据所述当前帧动作输出信息，获得所述智能体下一帧状态信息；

获取所述智能体的历史位置信息，并根据所述历史位置信息，生成下一帧3D地图信息；

根据所述下一帧状态信息和所述下一帧3D地图信息，输出所述智能体对应的下一帧动作输出信息；

其中，所述通过AI模型的时序特征提取模块基于所述当前帧状态信息、所述当前帧3D地图信息，输出所述智能体对应的当前帧动作输出信息之前，包括：

提取所述当前帧状态信息中的状态嵌入向量特征，以及根据所述当前帧3D地图信息获取地图向量特征；

将所述状态嵌入向量特征与所述地图向量特征合并输入全连接神经网络，获得对应的融合信息；

所述通过AI模型的时序特征提取模块基于所述当前帧状态信息、所述当前帧3D地图信息，输出所述智能体对应的当前帧动作输出信息，包括：

将所述融合信息输入所述时序特征提取模块，输出所述智能体对应的所述当前帧动作输出信息。

2.根据权利要求1所述的方法，其特征在于，所述3D虚拟环境的3D地图包括多层通道，每层通道由多个网格组成，所述多层通道分别记载不同类型信息。

3.根据权利要求2所述的方法，其特征在于，所述多层通道包括第一层通道、第二层通道、第三层通道与第四层通道中至少两层通道，所述第一层通道的网格记载所述智能体是否移动至网格所在位置，所述第二层通道的网格记载所述智能体移动至网格所在位置的频次，所述第三层通道的网格记载所述智能体移动至网格所在位置的次序，所述第四层通道的网格记载网格所在位置存在物资点的数量。

4.根据权利要求1所述的方法，其特征在于，所述当前帧3D地图信息包括3D地图的多层通道记载的不同类型信息，所述根据所述当前帧3D地图信息获取地图向量特征，包括：

将所述不同类型信息经多层卷积计算，获得所述地图向量特征。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

每隔预设时长记录所述智能体的位置信息并存储，所述智能体的所述历史位置信息为存储的多个位置信息。

6.根据权利要求5所述的方法，其特征在于，所述记录所述智能体的位置信息并存储，包括：

每次记录所述智能体的当前位置信息时，确定存储的所述历史位置信息的数量是否达到预设数量；

若存储的所述历史位置信息的数量未达到所述预设数量，则存储所述当前位置信息；

若存储的所述历史位置信息的数量达到所述预设数量，则存储所述当前位置信息，并将存储的所述历史位置信息中最早记录的历史位置信息删除。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述时序特征提取模块包括LSTM模块，所述方法还包括：

获取LSTM模块对应的上一帧隐藏状态信息；

所述通过所述AI模型的时序特征提取模块基于所述当前帧状态信息、所述当前帧3D地图信息，输出所述智能体对应的当前帧动作输出信息，包括：

通过所述LSTM模块基于所述当前帧状态信息、所述当前帧3D地图信息、以及所述上一帧隐藏状态信息，输出所述LSTM模块对应的当前帧隐藏状态信息；

根据所述当前帧隐藏状态信息，获取所述智能体对应的所述当前帧动作输出信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述当前帧隐藏状态信息，获取所述智能体对应的所述当前帧动作输出信息，包括：

根据所述当前帧隐藏状态信息，获取所述智能体对应的融合状态向量信息；

根据所述融合状态向量信息，获取所述当前帧动作输出信息。