[发明专利]多智能体行为决策方法、装置、电子设备和存储介质

说明书

本发明提供一种多智能体行为决策方法、装置、电子设备和存储介质，其中方法包括：基于多智能体行为模型中的图生成模块，将各个智能体及其对应的环境信息构建为图；基于多智能体行为模型中的信息传递模块，对各个智能体及其对应的环境信息进行编码，得到各个智能体对应的联合编码状态；基于多智能体行为模型中的策略优化模块，结合各个智能体对应的联合编码状态，确定各个智能体的初始决策；基于多智能体行为模型中的碰撞避免模块，对各个智能体的初始决策进行变步长控制，并结合各个智能体对应的斥力，确定各个智能体的最终决策。本发明解决了大规模智能体场景下强化学习难以收敛的问题，实现了多智能体系统下高性能的自主决策能力和避碰效果。

技术领域

本发明涉及群体智能技术领域，尤其涉及一种多智能体行为决策方法、装置、电子设备和存储介质。

背景技术

研究发现，“蜂群”等群居性生物通过其众多分散个体的协同行为，可涌现出宏观的智能行为，形成复杂的群体智能，这是一种超越个体行为的更高级表现。随着自主控制等新兴技术的发展，利用大规模（同构/异构）多智能体“蜂群”系统的群智协同行为，成为解决智慧安防、应急救援、智能物流等重大需求的新途径。

当前“蜂群”系统的未来发展大致可分为三个方向：

(1)数量发展：实现更大规模的智能体协同，可以低成本和高度分散的形式满足功能需求。

(2)质量发展：群体智能的涌现，而非仅通过人类知识驱动。

(3)灵活可变性：针对复杂场景问题，智能体间进行动态调整，自主协同解决问题。

在传统的群智行为研究中，多采用观察群体获得的经验的方式提取模型，添加规则后提取算法。而强化学习是“蜂群”群智协同问题的一种新的解决思路，它可在少量先验知识的情况下，使智能体自发涌现智能。

近年来在一些以Deepmind的“AlphaStar”、腾讯AI“绝悟”为代表的项目中，现阶段使用强化学习来实现“蜂群”行为协同的研究尚处于起步阶段，存在群体行为知识有限、大规模智能体学习不稳定等问题。因此，如何在复杂实时动态环境下，实现大量智能体间自主的任务分配、行为协调，是当前研究所必须跨越的一部分。

发明内容

本发明提供一种多智能体行为决策方法、装置、电子设备和存储介质，用以解决现有技术中大规模智能体学习不稳定的缺陷。

本发明提供一种多智能体行为决策方法，包括：

基于多智能体行为模型中的图生成模块，将各个智能体及其对应的环境信息构建为图；

基于所述多智能体行为模型中的信息传递模块，对各个智能体及其对应的环境信息进行编码，得到各个智能体对应的联合编码状态；

基于所述多智能体行为模型中的策略优化模块，结合各个智能体对应的联合编码状态，确定各个智能体的初始决策；

基于所述多智能体行为模型中的碰撞避免模块，对各个智能体的初始决策进行变步长控制，并结合各个智能体对应的斥力，确定各个智能体的最终决策并执行。

根据本发明提供一种的多智能体行为决策方法，所述对各个智能体及其对应的环境信息进行编码，得到各个智能体对应的联合编码状态，具体包括：

对任一智能体的状态和环境信息分别进行编码，得到所述任一智能体的状态编码和环境编码；

将所述任一智能体的状态编码和环境编码融合，得到所述任一智能体的初始联合编码；

基于多头注意力网络，对所述初始联合编码进行注意力变换，得到所述任一智能体的联合编码状态。

根据本发明提供的一种多智能体行为决策方法，所述对各个智能体的初始决策进行变步长控制，并结合各个智能体对应的斥力，确定各个智能体的最终决策，具体包括：