[发明专利]一种基于示教数据的多步规则提取方法、设备及存储介质

权利要求书

1.一种基于示教数据的多步规则提取方法，其特征在于，包括规则生成模块与规则结合强化学习训练模块，所述方法包括以下步骤：

首先，规则生成模块在强化学习环境中顺序执行示教数据中的动作序列；从示教数据对应的动作序列中取出连续动作序列；随机初始化智能体和神经网络；提取出规则；

其次，合强化学习训练模块将提取出的规则融入至强化学习智能体训练过程，规则结合强化学习训练模块的流程为：设置智能体动作空间中规则数量，通过扩展动作空间维度为原始动作空间维度，引入规则的ID作为智能体的可选动作，智能体决策为规则ID时，将会执行对应规则的动作序列，决策为原始动作时会直接执行，每隔一定时间步，根据规则的分数更新其动作空间中的规则；

示教数据包含L+1对状态动作对，要提取的多步规则长度为K，其中KL，规则生成模块首先利用专家数据在环境中进行仿真：按照专家示教数据τ＝(s₀,a₀,s₁,a₁,…,s_L,a_L)中的动作序列(a₀,a₁,…,a_L)在强化学习的仿真环境中执行，收获环境的奖励，得到连续的交互数据φ=(s₀,a₀,r₀,s₁,a₁,r₁,...,a_L,r_L)，随后，规则生成模块从交互数据中取出L-K段连续的长度为K的连续动作序列：Φ＝{{a₀,a₁,…,a_K-1},{a₁,a₂,…,a_K},…,{a_L-K+1,a_T-L+2,…,a_L}}作为备选多步规则对应的动作序列，同时保存这L-K段动作序列的初始状态集合Ψ＝{{s₀},{s₁},…,{s_L-K+1}}作为规则对应的触发条件集，

为了实现规则的有效利用，评估备选规则对于强化学习智能体的价值，定义了如下的分数计算机制：

公式(1)中，对于第j条规则，定义U为规则的分数，衡量了规则价值的大小；

其中，D(s_j,s_j+K-1)为规则初始状态s_j与规则结尾状态s_j+K-1的间距；N(s_j+K-1)指状态s_j+K-1的访问次数；为采用规则j时收获到的累积奖励；a为探索价值的权重，b为利用价值的权重。

2.根据权利要求1所述的基于示教数据的多步规则提取方法，其特征在于，规则生成模块首先对专家数据进行处理，将数据在强化学习仿真环境中模拟执行，分割成等距的数据片段，记录每个数据片段的累积环境奖励，设置规则分数计算机制，用以计算每个数据片段的分数作为规则的打分。

3.根据权利要求1或2所述的基于示教数据的多步规则提取方法，其特征在于，规则分数计算主要由探索价值和利用价值两个部分计算组成：探索价值与多步规则初始末尾状态距离成正比，与末尾状态的访问次数成反比。

4.根据权利要求3所述的基于示教数据的多步规则提取方法，其特征在于，采用欧式距离计算初始状态与末尾状态间的距离D(s_j,s_j+K-1)；智能体状态空间的维度为n，状态间距采用公式(2)计算：