[发明专利]多智能体行动策略学习方法、装置、介质和计算设备

权利要求书

1.一种多智能体行动策略学习方法，包括：

所述多智能体分别根据各自的初始行动策略采样相应的动作；

分别估计所述多智能体执行相应动作后获得的优势；

基于所述多智能体执行相应动作后获得的优势更新各智能体的行动策略，以使更新后的各个行动策略能够使得相应的智能体获得更高的回报。

2.如权利要求1所述的方法，其中，所述多智能体分别根据各自的初始行动策略执行相应的动作之前，所述方法还包括：

使用真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

3.如权利要求2所述的方法，其中，采用加权逻辑回归法基于真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

4.如权利要求1所述的方法，其中，分别估计所述多智能体执行相应动作后获得的优势，包括：

分别获取各智能体执行相应动作后所达到的新状态；

分别计算各智能体当前状态和达到新状态后的回报；

分别根据各智能体当前状态和达到新状态后的回报计算各智能体执行相应动作后获得的优势。

5.一种多智能体行动策略学习装置，包括多个多智能体和多个价值网络，其中，所述多个智能体分别根据各自的初始行动策略采样相应的动作；

所述多个价值网络分别估计所述多智能体执行相应动作后获得的优势；

所述多个智能体基于执行相应动作后获得的优势更新各自的行动策略，以使更新后的各个行动策略能够使得相应的智能体获得更高的回报。

6.如权利要求5所述的装置，其中，所述装置还包括：

预训练模块，被配置为使用真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

7.如权利要求6所述的装置，其中，所述预训练模块，被配置为采用加权逻辑回归法基于真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

8.如权利要求5所述的装置，其中，所述装置还包括多个状态编码模块，被配置为分别获取各智能体执行相应动作后所达到的新状态；

所述多个价值网络还被配置为分别计算各智能体当前状态和达到新状态后的回报；以及分别根据各智能体当前状态和达到新状态后的回报计算各智能体执行相应动作后获得的优势。

9.一种介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的方法。

10.一种计算设备，特征在于：所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-4中任一项所述的方法。