[发明专利]基于注意力机制的CPS系统强化学习控制方法

说明书

本发明提供了基于注意力机制的CPS系统强化学习控制方法，包括以下步骤：控制对象通过策略网络选择一个合适的策略，并且对环境进行执行；环境在策略的执行下产生变化和回应，生成一个奖励；预设的多个传感器对环境进行一个探测，获得了多个传感器探测信息；将传感器探测信息传入自注意力网络，将获取的传感器信息的奖励和当前的状态同时输入策略网络，更新策略网络的梯度，并且作为策略网络的输入去选择下一时间段的策略，重复进行即可完成学习控制方法。本发明在使用强化学习算法解决实际的控制问题的时候，该方法对于奖励的设计要求更加的宽松和便利，即部分信息可以通过传感器的隐知识学到。

技术领域

本发明属于CPS系统学习控制方法技术领域，具体涉及基于注意力机制的CPS系统强化学习控制方法。

背景技术

在当前的CPS系统中，如何结合传感器的感知信息，设计一个对于CPS系统的合理的智能的控制算法已经成为了一个大家关注许久的问题了。在智能算法的设计中，强化学习作为一种位于学术最前沿的算法，收到了广泛的关注。虽然比起传统的pid控制等控制方法，强化学习，尤其是q学习，是基于机器学习的算法的黑盒模型，导致其可解释性弱于传统模型，但强化学习不需要根据模型重新设计，适应性强，可以更容易的训练，效果更好更智能等一系列特性使其备受喜爱。

但是存在一个很重要的问题，就是传统的强化学习模型本质上是对于学习的一种解释模型，而没有考虑到应用到CPS系统时所需要的修改，而且由于复杂的CPS系统中具有大量的传感器，让强化学习模型的训练本身更加的困难，从而影响模型能获得的提升效果。

发明内容

本发明所要解决的技术问题在于针对上述现有技术的不足，提供基于注意力机制的CPS系统强化学习控制方法，以解决上述背景技术中提出的问题。

为解决上述技术问题，本发明采用的技术方案是：基于注意力机制的CPS系统强化学习控制方法，包括以下步骤：

S1、控制对象通过策略网络选择一个合适的策略，并且对环境进行执行；

S2、环境在策略的执行下产生变化和回应，生成一个奖励；

S3、预设的多个传感器对环境进行一个探测，获得了多个传感器探测信息；

S4、将传感器探测信息传入自注意力网络，同时自注意力网络自动获取控制对象上一步的行为，以传感器探测信息和控制对象上一步的行为作为基准，计算需要的传感器信息；

S5、将获取的传感器信息的奖励和当前的状态同时输入策略网络，更新策略网络的梯度，并且作为策略网络的输入去选择下一时间段的策略，重复进行即可完成学习控制方法。

进一步的，学习控制方法还分为训练模式和执行模式。

进一步的，所述执行模式包括以下步骤：

S101、在时间k时，控制对象的状态为环境的状态采取行为u_k∈A；

S102、在该行为的影响下，环境的状态：控制对象的状态：奖励值：

S103、对于此时间k+1的环境状态传感器捕捉环境中的信息，获得:

S104、基于此时间段的传感器信息与上一时间段的行为u_k，使用自注意力机制的模型获得筛选过之后的传感器信息：

S105、结合上面的信息，控制对象开始推测下一时间段应该执行的行动：

S106、执行动作u_(k+1)，回到S101中；

其中，S_env代表环境的状态；S_agent代表控制对象的状态；S_sensor代表传感器获得的各项参数的状态；