[发明专利]基于强化学习的级联信息提取系统及方法

权利要求书

1.一种基于强化学习的级联信息提取系统，其特征在于，包括：预训练模块、强化训练模块和预测模块，每一个模块中均包括定位模块和分类模块；

其中：

所述预训练模块用于独立训练定位模块和分类模块，得到的预训练参数直接传递至强化训练模块中对应的定位模块和分类模块中；

所述强化训练模块用于对定位模块和分类模块进行联合训练，并通过强化学习框架进一步优化定位模块和分类模块，得到的强化训练参数直接复用于预测模块中对应的定位模块和分类模块；

所述预测模块用于对待检测文本进行信息提取，以待检测文本为输入，依次通过定位模块和分类模块，输出待检测文本的实体、关系和事件信息；

所述强化学习模块还包括：行为模块和评价模块和优化模块；其中：

所述定位模块和分类模块的初始化参数直接从预训练模块中继承；

所述行为模块以定位模块选择的模型作为策略，根据定位模块和分类模块输出的概率分布进行采样，得到下一步预测的行为，并通过定义环境和奖励函数对预测的行为进行打分，得到对应的分值作为奖励；

所述评价模块以定位模块和分类模块的输出作为输入，通过另外一个神经网络计算奖励的期望作为奖励的阈值；

所述优化模块通过行为模块输出的奖励和评价模块输出的阈值优化定位模块和分类模块中的模型参数。

2.根据权利要求1所述的基于强化学习的级联信息提取系统，其特征在于，所述奖励函数与准确率和召回率指标相关，采用归一化的局部F1值与预期F1差值作为奖励函数；和/或

所述优化模块采用交叉熵损失函数作为优化过程中的损失函数。

3.根据权利要求1所述的基于强化学习的级联信息提取系统，其特征在于，所述强化学习框架采用异步优势行为评价模型。

4.根据权利要求1-3任一项所述的基于强化学习的级联信息提取系统，其特征在于，每一个模块中的所述定位模块均包括定位模型；每一个模块中的所述分类模块均包括分类模型；

其中：

所述定位模型以文本为输入，以文本中所包含的信息片段为标签进行优化；

所述分类模型以文本中所包含的信息片段为输入，以信息片段的类型为标签进行优化。

5.根据权利要求4所述的基于强化学习的级联信息提取系统，其特征在于，每一个所述定位模型均为一个生成模型，包括基于文本的编码器和基于注意力机制的解码器；其中：

所述编码器用于捕捉文本特征，逐词学习文本的上下文编码，输出具有上下文信息的文本编码向量；

所述解码器以编码器的输出为输入，通过注意力机制逐步对所要提取的信息进行定位，得到位置信息；

每一个所述分类模型均为一个判别模型，首先通过定位模型捕捉到的位置信息对文本编码向量进行掩膜，得到局部信息片段向量，然后通过卷积神经网络提取模型所用的特征并通过全连接分类器进行最终的分类，确定候选片段是否为待提取信息并确定其类型。

6.根据权利要求5所述的基于强化学习的级联信息提取系统，其特征在于，所述编码器采用双向循环神经网络或者带有位置编码的转移模型；所述解码器采用带有注意力机制的指针网络，定位信息片段，对于每一个时刻，通过上一时刻得到的文本片段位置信息对整个文本做注意力操作，得到当前时刻文本信息位置概率分布，取概率最大的位置作为当前时刻定位到的信息，不断迭代得到所有候选实体的位置信息。

7.根据权利要求5所述的基于强化学习的级联信息提取系统，其特征在于，所述预训练模块中的定位模块和分类模块还分别包括一个优化器，所述优化器用于分别学习定位模块和分类模块的参数。

8.根据权利要求7所述的基于强化学习的级联信息提取系统，其特征在于，所述优化器采用ADAM优化器。