[发明专利]一种基于强化学习的多智能体容错一致性方法及系统

说明书

本发明提供了一种基于强化学习的多智能体容错一致性方法及系统，本发明方法：S1：建立系统网络拓扑，设计奖励函数；S2：智能体之间交互：根据设计的奖励函数，逐步调整相邻智能体权重，直至正常智能体状态达成一致。本发明通过引入MARL的试错思想，即不断地尝试，并采用一种可应用于解决多智能体容错一致性问题的算法D‑OPDPG，结合MARC系统的自然特性来解决现有技术的一些问题，根据设计的奖励函数，逐步调整相邻智能体权重，从而减轻故障智能体的影响，进而逐渐识别出故障智能体。本发明在不给系统增加额外的能耗下，对噪声有着极高的容忍度。此外，采用基于强化学习的分布式方法，放宽了网络拓扑的限制条件，其仅需网络拓扑满足连通图要求。

技术领域

本发明属于强化学习和容错控制技术领域，尤其涉及一种基于强化学习的多智能体容错一致性方法及系统。

背景技术

近年来，多智能体技术广泛应用于现代基础设施系统中，如交通系统、电网、无线通信网络、医疗保健设备等领域。然而，实际应用中不可预测的环境以及智能体内部故障等问题都给多智能体系统带来了诸多挑战。容错一致性是指在多智能体系统中，当含有错误输入数据时，智能体仍能通过彼此间的交互达到状态的一致。

在多智能体系统中，直接实现多智能体容错一致性(multi-agent resilientconsensus,MARC)的方法是去除故障智能体。假设已知网络中故障智能体的最大数量，此时每个智能体从邻居智能体接收到的状态信息集合中丢弃其中的最大值和最小值。该方法称为Mean Subsequence Reduced(MSR)算法，同时其衍生的Weighted Mean SubsequenceReduced(W-MSR)算法，能够进一步被应用于各种MARC应用中，如时钟同步、航天器控制等。然而，这种方法受限于网络连通性或网络鲁棒性，在实践中很难实现。

另一种常用的方法是根据历史数据评估每个智能体的可信度，然后将最可疑的故障智能体永久丢弃。其典型的算法是RoboTrust，通过从不同的历史角度观察和统计推断来计算可信度，只有最值得信任的智能体被保留。这种基于可信度的容错一致性方法放宽了网络连通性或网络鲁棒性的要求，但是加大了系统的存储和计算负荷。同时，该方法不涉及故障智能体之间的协同攻击。

强化学习作为目前最流行的一种方法，从数据驱动的角度来解决未知动态系统下的最优一致性问题。该方法通过Bellman最优性原理建立性能指标，并引入神经网络进行逼近，从而不再需要求解耦合的Hamilton-Jacobi-Bellman(HJB)方程，而是采用策略梯度或Q-learning方法实时求解最优控制解。而在多智能体强化学习(multi-agentreinforcement learning,MARL)中，每个智能体与环境及其他个体相互作用，通过选择合适的行动来使总的回报最大化。该特性使得MARL完成各种挑战成为可能，同样，MARL技术也可能为解决MARC问题提供帮助。

然而，从MARL的角度来解决MARC问题存在着几个挑战。首先，迄今为止大多数成功的MARL应用都采用了集中训练、分布执行的框架，而在MARC中，只有来自相邻智能体的本地信息可以用于全局一致性实现。其次，在MARL中，每个智能体，无论是队友抑或对手，其身份都是已知的，从而可以设计合理的策略。然而，MARC的一个主要目标就是识别所有其他智能体的身份，即各智能体的身份是未知的。此外，故障智能体的不可预测行为还会造成环境的不稳定，从而违反马尔可夫假设，这是MARL中一个常见且棘手的问题。因此，亟需一种方法来克服这些缺陷，并成功利用MARL解决MARC问题。

发明内容

基于现有技术存在的问题，本发明提供了一种基于强化学习的多智能体容错一致性方法及系统，采用MARL的试错思想，结合MARC系统的自然特性来克服这些缺陷，旨在调整相邻智能体权重，从而减轻故障智能体的影响。此外，本发明方法采用分布式训练手段。

为了达到本发明的目的，本发明采取如下技术方案：