[发明专利]一种用于制造企业多Agent协同控制方法及系统

权利要求书

1.一种用于制造企业多Agent协同控制方法，其特征是，包括：

构建面向全过程的智能协同分布式层次控制模型，该模型由总线连接系统Agent和各种车间Agent组成；

利用DS_MADDPG算法求解该分布状态的智能协同分布式层次控制模型，实现Agent之间的协同控制。

2.如权利要求1所述的一种用于制造企业多Agent协同控制方法，其特征是，所述智能协同分布式层次控制模型按层次分层，分为上层和下层，上层是系统Agent，下层的每个车间Agent均有一个车间控制Agent和多个现场Agent；

对于系统Agent发出的任务，每个子车间里面的车间Agent可以相互配合，实现任务Agent的分解；

同时，每个子车间Agent可以将分配的任务分配给现场Agent，现场Agent可以相互合作完成任务。

3.如权利要求2所述的一种用于制造企业多Agent协同控制方法，其特征是，DS_MADDPG算法求解具体如下：

使用多核多线程创建多个并行工作线程环境；

从经验池D中对S个样本进行采样的批量数据M被分成K个部分并分发给k个不同Agent处理；

调整MADDPG中critic网络的评价模式，并使用advantage A作为actor网络的动作的评价，Critic网络的输出是一个值；

使用n步更新动作的Q值来获得advantage A；

然后计算损失函数，选择损失最大的批量数据，以实现actor-critic网络内全局网络的更新。

4.如权利要求3所述的一种用于制造企业多Agent协同控制方法，其特征是，A(x_i，a_i；θ_i，θ_i，v)用n步TD-error更新，选择具有最大损失的批量数据K_i作为全局网络的批量数据的输入，然后计算损失函数，以实现actor-critic网络内全局网络的更新，更新公式为

其中

5.如权利要求1所述的一种用于制造企业多Agent协同控制方法，其特征是，进行仿真模拟时，将生产任务订单的任务Agent抽象成猎物Agent，将设备Agent抽象成捕食者Agent，捕食Agent合作实现猎物Agent的追捕，通过仿真模拟设备Agent合作完成生产任务。

6.一种用于制造企业多Agent协同控制系统，其特征是，包括：

模型构建模块，构建面向全过程的智能协同分布式层次控制模型，该模型由总线连接系统Agent和各种车间Agent组成；

模型求解模块，利用DS_MADDPG算法求解该分布状态的的智能协同分布式层次控制模型，实现Agent之间的协同控制。

7.如权利要求6所述的一种用于制造企业多Agent协同控制系统，其特征是，所述模型构建模块中所构建的所述智能协同分布式层次控制模型按层次分层，分为上层和下层，上层是系统Agent，下层的每个车间Agent均有一个车间控制Agent和多个现场Agent；

对于系统Agent发出的任务，每个子车间里面的车间Agent可以相互配合，实现任务Agent的分解；

同时，每个子车间Agent可以将分配的任务分配给现场Agent，现场Agent可以相互合作完成任务。