[发明专利]一种面向大规模任务空间的协同多智能体通信方法

权利要求书

1.一种面向大规模任务空间的协同多智能体通信方法，具体包括通信阶段和动作选择阶段；其特征在于：

所述通信阶段实现过程为：

获取当前时刻智能体j的注意力权重，得到该注意力权重对应评分值；

对所述评分值进行归一化处理得到权重系数；

基于所述权重系数生成通信向量；

所述动作选择阶段实现过程为：

构建基于长短时记忆LSTM的神经网络，所述神经网络作为每个智能体的独立控制器；

训练所述基于长短时记忆LSTM的神经网络；

通过训练后的神经网络执行动作选择。

2.根据权利要求1所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，所述注意力权重对应评分值的获取方式为：将当前时刻智能体j的隐藏层状态向量作为查询向量，与当前时刻其他智能体传递的隐藏层状态向量分别做内积运算，得到智能体j评分值：

3.根据权利要求2所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，对所述评分值进行归一化处理得到权重系数，具体为：

通过归一化处理得到相似度大小的权重系数系数的大小同时反映出内容的重要性。

4.根据权利要求3所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，基于所述权重系数生成通信向量，具体为：智能体j在时间t时的通信向量生成公式为：

其中，是智能体j在时间t时其他智能体隐藏层状态向量加权求和，在通信过程中，智能体j试图了解从其他智能体那里收到的状态信息。

5.根据权利要求1所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，构建基于长短时记忆LSTM的神经网络，具体为：

通过输入信息定义神经网络的门值和候选值函数；

更新下一状态的候选值

再更新智能体j的自身隐藏层状态

6.根据权利要求5所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，通过输入信息定义神经网络的门值和候选值函数，具体为：门值Γ_u、Γ_f、Γ_o和候选值计算公式分别为：

为候选参数，w_u、b_u为更新参数，w_f、b_f为遗忘参数，w_o、b_o输出参数，上述参数在每个长短时记忆LSTM单元中是共享的；δ代表sigmoid函数，它使门值非常接近0或1；在每个时间步骤中，通过激活函数tanh，当前输入的观察值其他智能体隐藏层状态向量融合值和从上一个状态传下来的智能体j自身隐藏层状态向量拼接和训练得到候选值更新门Γ_u、遗忘门Γ_f和输出门Γ_o是为了调整流经神经网络的值。

7.根据权利要求5所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，更新下一状态的候选值具体为：使用更新门Γ_u和遗忘门Γ_f更新下一状态的候选值

具体来说，作为遗忘门Γ_f，控制前一个状态的候选值哪些信息应该保留，哪些应该遗忘；作为更新门Γ_u，选择和记忆这个阶段的输入观察值和融合值将上述两个结果相加，意味着当前状态的部分信息被删除，新输入的部分信息被添加，从而得到下一个状态的候选值

8.根据权利要求5所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，再更新智能体j的自身隐藏层状态具体为：

其中，候选值被激活函数缩放，并由输出门Γ_o控制。

9.根据权利要求1所述一种面向大规模任务空间的协同多智能体通信方法，其特征在于，训练所述基于长短时记忆LSTM的神经网络，具体为：智能体j在时间t时与环境互动，从环境中获得个体观察值个体动作值和个体奖励值训练阶段，每个智能体需要一个独立的控制器，对于智能体j，根据收到的其他智能体的隐藏层状态向量进行有目的的融合，以产生一个通信向量智能体的隐藏层状态向量和通信向量被发送到智能体j的独立控制器中；通过注意力的通信机制，不同的智能体交换关于他们的观察值、动作值和意图信息以稳定训练过程；训练结束后，智能体根据自己的隐藏层状态向量做出决定；而神经网络则输出一个概率分布第j个智能体的动作策略公式如下:

为了评价策略π的总体性能指标，将其表示为J(π)：

其中，是在策略参数θ_j下每个序列存在的概率；

为了优化策略π，最大化奖励沿着梯度更新策略参数θ_j，使其达到最优：

其中α是学习率，总体性能指标是通过以下梯度的上升来更新：