[发明专利]基于注意力机制的CPS系统强化学习控制方法

权利要求书

1.基于注意力机制的CPS系统强化学习控制方法，其特征在于，包括以下步骤：

S1、控制对象通过策略网络选择一个合适的策略，并且对环境进行执行；

S2、环境在策略的执行下产生变化和回应，生成一个奖励；

S3、预设的多个传感器对环境进行一个探测，获得了多个传感器探测信息；

S4、将传感器探测信息传入自注意力网络，同时自注意力网络自动获取控制对象上一步的行为，以传感器探测信息和控制对象上一步的行为作为基准，计算需要的传感器信息；

S5、将获取的传感器信息的奖励和当前的状态同时输入策略网络，更新策略网络的梯度，并且作为策略网络的输入去选择下一时间段的策略，重复进行即可完成学习控制方法，学习控制方法还分为训练模式和执行模式；

所述执行模式包括以下步骤：

S101、在时间k时，控制对象的状态为环境的状态采取行为u_k∈A；

S102、在该行为的影响下，环境的状态：控制对象的状态：奖励值：

S103、对于此时间k+1的环境状态传感器捕捉环境中的信息，获得:

S104、基于此时间段的传感器信息与上一时间段的行为u_k，使用自注意力机制的模型获得筛选过之后的传感器信息：

S105、结合上面的信息，控制对象开始推测下一时间段应该执行的行动：

S106、执行动作u_(k+1)，回到S101中；

其中，S_env代表环境的状态；S_agent代表控制对象的状态；S_sensor代表传感器获得的各项参数的状态；

A代表有限的动作集，即控制对象可以采取的行动；P代表转移概率，即采取一个动作后，转移到的概率；R为奖励函数；γ代表折扣因子；

传感器读取环境：F_sensor:S_env→S_sensor；

环境发生变化：F_env:S_env×A→S_env；

奖励函数：F_reward:S_agent×A→R；

状态变化函数：F_state:S_agent×A→S_agent；

还设置有能通过机器学习获得的端对端模型：自注意力机制的神经网络：σ_attention:S_sensor×A→S_{att_sensor}；控制对象选取行为策略的神经网络：σ_agent:S_{att_sensor}×S_agent→A

S_sensor代表传感器感应外部环境获得的信息；

S_{att_sensor}代表通过自注意力机制之后留下来的传感器信息；

所述训练模式包括以下步骤：

S201、在时间k时，控制对象的状态为环境的状态∈S_env；采取行为u_k∈A；

S202、在该行为的影响下，环境的状态：控制对象的状态：奖励值：

S203、对于此时间k+1的环境状态传感器捕捉环境中的信息，获得:

S204、基于此时间段的传感器信息与上一时间段的行为u_k，使用自注意力机制的模型获得筛选过之后的传感器信息：

S205、结合上面的信息，控制对象开始推测下一时间段应该执行的行动：

S206、执行动作u_(k+1)，回到S101中，收集每次的数据配对：

S207、将数据配对作为数据集，对于神经网络σ_attention和σ_agent进行联合梯度下降，将下降后的参数作为新的神经网络，回到第一步，直到收敛。