[发明专利]基于角色分配的群体分布式控制方法及装置

权利要求书

1.一种基于角色分配的群体分布式控制方法，其特征在于，包括：

将获取的群体中的智能体的观测状态输入至第一策略网络模型中，得到所述第一策略网络模型输出的各智能体的角色类型；

将所述智能体的观测状态与所述各智能体的角色类型输入至第二策略网络模型中，得到所述第二策略网络模型输出的对应所述智能体的动作；

控制所述智能体执行所述动作；

其中，所述第一策略网络模型和所述第二策略网络模型是利用智能体样本数据进行训练得到的，其中所述第二策略网络模型的输入为所述第一策略网络模型的输出；

所述第一策略网络模型，包括：

环境特征提取层，基于所述观测状态，利用第一策略感知模块提取环境特征；

第一交互特征获取层，基于所述环境特征获取得到的局部交互信息，利用第一策略交互模块获得第一交互特征；

角色分析层，基于所述第一交互特征，利用第一策略角色模块和第一策略值函数模块对所述智能体进行角色分析，得到各所述智能体的角色类型；所述各智能体的角色类型表示为：

其中，ρ_i表示所述智能体i的角色类型，ρ表示智能体i的可选角色，表示组成所述第一策略角色模块的全连接神经网络组成的函数，表示组成所述第一策略值函数模块的全连接神经网络组成的函数，表示第一交互特征；

所述第二策略网络模型，包括：

状态特征提取层，基于所述智能体的观测状态，利用第二策略感知模块将所述智能体的观测状态与所述智能体的角色类型结合，获取所述智能体的状态特征；

第二交互特征获取层，基于所述状态特征和第二网络交互信息，利用第二策略交互模块获得第二交互特征；

动作预测层，基于所述第二交互特征，利用第二策略值函数模块和第二策略模块对所述智能体进行状态分析，得到所述智能体对应的动作；所述动作表示为：

其中，α_i表示所述智能体i的动作，α表示智能体i的可选动作，表示组成所述第二策略模块的全连接神经网络组成的函数，表示组成所述第二策略值函数模块的全连接神经网络组成的函数，表示第二交互特征。

2.根据权利要求1所述的基于角色分配的群体分布式控制方法，其特征在于，所述第一交互特征表示为：

其中，表示第一交互特征，O_i表示智能体i的观测状态，表示组成所述第一策略交互模块的全连接神经网络组成的函数，表示环境特征，表示局部交互信息。

3.根据权利要求1所述的基于角色分配的群体分布式控制方法，其特征在于，所述智能体i的观测状态O_i表示为：

其中，S_j表示感知邻居智能体j的状态，N⁰(i)表示智能体i在感知半径D⁰ =2.5范围的邻居智能体个数；

所述局部交互信息表示为：

其中，N^c(i)表示智能体i在通信半径D^c =3范围内的邻居智能体个数，i表示第i个智能体，i=1,2,…,n，n表示群体中智能体的总数，表示通信邻居智能体j的第一交互特征。

4.根据权利要求1所述的基于角色分配的群体分布式控制方法，其特征在于，所述状态特征表示为：

其中，表示智能体的状态特征，f表示多层全连接神经网络函数，表示组成所述第二策略感知模块的全连接神经网络组成的函数，表示智能体i的角色类型。

5.根据权利要求1所述的基于角色分配的群体分布式控制方法，其特征在于，所述第二交互特征表示为：

其中，表示第二交互特征，表示组成所述第二策略交互模块的全连接神经网络组成的函数，表示环境特征，表示第二网络交互信息。