[发明专利]一种强化学习方法、装置、电子设备及存储介质

权利要求书

1.一种强化学习方法，其特征在于，包括：

确定智能体在执行完当前执行动作后的观测状态，作为下一观测状态；

基于预先设定的观测状态与规则状态的映射关系，确定所述下一观测状态对应的下一规则状态；

基于预先设定的智能体执行策略和所述下一规则状态，确定所述智能体的下一执行动作，并基于所述下一规则状态和所述下一执行动作确定下一行动效用值；

基于所述下一行动效用值，更新所述智能体的当前行动效用值，直至满足预先设定的交互终止条件；

其中，所述观测状态为智能体感知自身和环境获取的状态；

所述基于所述下一行动效用值，更新所述智能体当前行动效用值，直至满足预先设定的交互终止条件，之后还包括：

当满足所述交互终止条件时，若更新前后的当前行动效用值不满足预先设定的收敛条件，则初始化强化学习环境，并确定初始化环境下智能体的当前观测状态；

基于所述观测状态与规则状态的映射关系，确定所述当前观测状态对应的当前规则状态；

基于所述智能体执行策略和所述当前规则状态，确定所述智能体当前执行动作，并基于所述当前规则状态和所述当前执行动作确定当前行动效用值；

所述基于所述下一规则状态和所述下一执行动作确定下一行动效用值，具体包括：

基于所述下一规则状态中的任一规则特征和所述下一执行动作，确定所述任一规则特征的效用值；

基于所述下一规则状态中每一规则特征的效用值，确定所述下一行动效用值；

所述下一规则状态包括一个主要规则特征和若干个细节规则特征；

不同的规则状态共享所述细节规则特征的效能值；

所述基于所述下一规则状态中每一规则特征的效用值，确定所述下一行动效用值，具体包括：

式中，为所述下一规则状态，为所述下一行动效用值，为所述下一规则状态中的主要规则特征的效用值，为所述下一规则状态中的第k个细节规则特征的效用值，a_t+1为所述下一执行动作。

2.根据权利要求1所述的强化学习方法，其特征在于，所述基于所述下一行动效用值，更新所述智能体的当前行动效用值，具体包括：

基于所述下一行动效用值和所述当前行动效用值，以及迹函数，更新所述智能体的当前行动效用值。

3.根据权利要求2所述的强化学习方法，其特征在于，所述基于所述下一行动效用值和所述当前行动效用值，以及迹函数，更新所述智能体的当前行动效用值，具体包括：

式中，为更新后的当前行动效用值，为所述当前行动效用值，r_t+1为下一即时回报值，为所述下一行动效用值，α为学习率，γ为衰减系数，为所述迹函数，为所述当前规则状态，为所述下一规则状态，a_t为所述当前执行动作，a_t+1为所述下一执行动作。