[发明专利]多智能体行动策略学习方法、装置、介质和计算设备

说明书

本发明的实施方式提供了一种多智能体行动策略学习方法，包括：所述多智能体分别根据各自的初始行动策略采样相应的动作；分别估计所述多智能体执行相应动作后获得的优势；基于所述多智能体执行相应动作后获得的优势更新各智能体的行动策略，以使更新后的各个行动策略能够使得相应的智能体获得更高的回报。本发明的方法在面向任务处理的机器学习场景中，同时训练互相协作的多个智能体(即同时训练多个行动策略)，而不是采用预先构建的模拟器和智能体进行交互，且无需人工监督，极大的节省了时间成本和资源，另外，为了使得各个智能体都能学习到优异的行动策略，对每个智能体分配不同的奖励，使得多智能体能够学习更加优异的行动策略。

技术领域

本发明的实施方式涉及强化学习领域，更具体地，本发明的实施方式涉及一种多智能体行动策略学习方法、装置、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

行动策略决定了智能体应采取的下一步操作，在面向任务的系统中起着至关重要的作用。近些年来，策略学习已被广泛地认为属于强化学习(RL)问题。由于RL需要大量的交互来进行策略训练，然而直接与真实用户进行交互费时费力。最常见的方法是开发一个用户模拟器帮助训练以促进目标智能体学习行动策略。

但是，设计可靠的用户模拟器并不是一件容易的事，并且常常具有挑战性，因为它等同于构建一个好的智能体。随着对智能体处理更复杂任务的需求的不断增长，构建一个完全基于规则的用户模拟器将是一项艰巨而艰巨的工作，并且需要大量的领域专业知识。

发明内容

在本上下文中，本发明的实施方式期望提供一种多智能体行动策略学习方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种多智能体行动策略学习方法，包括：

所述多智能体分别根据各自的初始行动策略采样相应的动作；

分别估计所述多智能体执行相应动作后获得的优势；

基于所述多智能体执行相应动作后获得的优势更新各智能体的行动策略，以使更新后的各个行动策略能够使得相应的智能体获得更高的回报。

在本实施方式的一个实施例中，所述多智能体分别根据各自的初始行动策略执行相应的动作之前，所述方法还包括：

使用真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

在本实施方式的一个实施例中，采用加权逻辑回归法基于真实行动数据进行预训练以分别得到所述多智能体各自的初始行动策略。

在本实施方式的一个实施例中，分别估计所述多智能体执行相应动作后获得的优势，包括：

分别获取各智能体执行相应动作后所达到的新状态；

分别计算各智能体当前状态和达到新状态后的回报；

分别根据各智能体当前状态和达到新状态后的回报计算各智能体执行相应动作后获得的优势。

在本实施方式的一个实施例中，所述多智能体包括用户智能体和系统智能体，所述用户智能体被配置为以完成任务为目标，所述系统智能体被配置为协助用户智能体完成任务。

在本实施方式的一个实施例中，各智能体到达某一状态后的回报至少包括其自身的回报和全局回报。

在本实施方式的一个实施例中，所述用户智能体自身的回报至少包括无行动的惩罚、存在未完成子任务时执行新子任务的惩罚以及用户行动奖励。

在本实施方式的一个实施例中，所述用户行动奖励基于用户智能体是否执行所有利于完成任务的行动确定。