[发明专利]一种基于示教数据的多步规则提取方法、设备及存储介质

说明书

本发明公开了一种基于示教数据的多步规则提取方法、设备及存储介质，包括规则生成模块与规则结合强化学习训练模块，所述方法包括以下步骤：首先，规则生成模块在强化学习环境中顺序执行示教数据中的动作序列；从示教数据对应的动作序列中取出连续动作序列；随机初始化智能体和神经网络；提取出规则；其次，合强化学习训练模块将提取出的规则融入至强化学习智能体训练过程。本发明将规则作为扩展动作融入至强化学习训练中，在使用规则的同时提出了一定的筛选规则机制，实现了专家知识与强化学习训练的有效动态结合。

技术领域

本发明涉及人工智能领域，关于强化学习与信息抽取的技术，具体涉及一种基于示教数据的多步规则提取方法、设备及存储介质。

背景技术

目前，利用专家示教数据的训练算法大多数为模仿学习方法。模仿学习方法主要分为行为克隆方法与逆强化学习方法。行为克隆方法采用端到端的方式学习示教数据中状态与决策之间的映射关系。逆强化学习方法则从专家示教数据中学习积分函数，并将学到的积分函数用于强化学习算法的训练。模仿学习技术旨在模仿给定任务中的人类行为。智能体从专家示教数据中学习状态和动作之间的映射关系，以模仿专家水平执行任务。模仿学习过程的形式化表示采用马尔科夫决策过程描述。马尔科夫决策过程是序贯决策的数学模型，其形式化描述了决策智能体与环境的交互过程，用于模拟在具有马尔可夫性质的环境中智能体可实现的随机性策略与回报。模仿学习利用低层次的连续专家数据τ＝(s₀,a₀,s₁,a₁…)进行策略的学习。模仿学习方法主要分为两大类：行为克隆方法及逆强化学习方法。其中利用的专家数据由连续的状态-动作对组成，记录了专家策略在当前任务下的连续行为。

强化学习是一种基于智能体的试错学习的方法，其学习目标为得到最大化智能体累积收益回报的策略。同模仿学习，强化学习的形式化表示同样采用马尔科夫决策过程表示。马尔科夫决策过程通常采用五元组＜S,A,P,R,γ＞表示，其中S代表智能体的状态空间：S＝{s₀,s₁,…,s_T}，A为智能体的动作空间A＝{a₀,a₁,…,a_T}，P为智能体在这一决策空间内的状态转移概率的集合：R为智能体在此随机过程中的奖励函数：指在状态s下，采取某个动作的奖励信号的期望，γ为折扣因子，用来表示对历史奖励信号的时间折扣。强化学习中智能体与环境交互的过程如图1所示。将规则抽取应用到强化学习领域的文献主要应用于多智能体规划，其中的代表文献为《基于强化学习的多智能体动态协作规则提取》。这篇文章的规则抽取根据智能体试错数据统计出的信念区间的合并与重新划分进行。是否进行规则的抽取或是修改，则根据Q-learning算法中Q值的变化是否超过阈值决定。这种规则提取方法较为依赖环境中智能体间的交互关系以及试错数据中的策略信念区间，没有涉及人类知识。这种方法的缺陷在于规则提取中手工设计部分较多，如阈值的设置，信念区间的计算方式等，并且在智能体的每步决策中都要进行规则抽取的运算，计算开销较大。

如果智能体直接采用专家数据训练，由于专家数据的策略分布与智能体策略分布不一致，会极大地增加训练难度。而规则作为另一种更常见的高层次人类知识表示形式，近年来也被引入在强化学习训练中，以指导智能体探索，提升算法训练。因此在示教数据如何向规则层面转换这一技术领域，还需要进一步改进以提升效率和质量。

发明内容

针对现有技术存在的问题，本本发明主要解决如何将在强化学习训练中有效利用低层次专家示教知识的问题，实现了示教数据向规则层面高效高质量转换。

根据本发明的基于示教数据的多步规则提取方法，包括规则生成模块与规则结合强化学习训练模块，所述方法包括以下步骤：

首先，规则生成模块在强化学习环境中顺序执行示教数据中的动作序列；从示教数据对应的动作序列中取出连续动作序列；随机初始化智能体和神经网络；提取出规则；