[发明专利]一种基于深度交互推理模型的事实检测方法

说明书

本发明公开了一种基于深度交互推理模型的事实检测方法，包括：使用BERT模型对证据和陈述分别进行编码；通过多头映射机制抽取证据的语义信息，并将其保存到记忆池中；计算陈述与每条证据之间的语义关系；基于注意力机制获取证据集合的整体表示，并计算陈述和证据整体表示之间的推理关系；将推理结构升级为多层结构，对推理关系进行迭代式地更新；利用更新后的证据表示对陈述的真实性进行判断。本发明方法中的多头映射机制能够从不同角度抽取证据的语义信息；记忆池结构赋予模型处理“多跳”问题的能力；多层推理结构能够深层次挖掘证据和陈述之间的推理关系。相比于其他方法，本发明方法在UKP‑Snopes数据集上具有更好的预测效果。

技术领域

本发明涉及自然语言处理领域，具体为一种基于深度交互推理模型的事实检测方法。

背景技术

基于自然语言处理技术的事实检测旨在运用自然语言处理相关技术，自动判断信息的真实性。给定一个待验证真实性的语句——陈述，检测方法可以分为三个步骤：(1)文章检索：为了缩小搜索空间，基于陈述在知识库中检索出与陈述相关的文章集合，作为验证陈述的基础知识；(2)证据抽取：文章中往往包含较多噪声信息，因此需要进一步筛选出与陈述相关的证据集合，将证据粒度细化为句子级别，作为验证陈述的直接知识；(3)真假推理：基于证据集合通过自然语言处理方法和深度学习模型对陈述的真实性进行判断。在事实检测任务，文章检索方法和证据抽取方法都已经较为成熟，具有较高的召回率指标，目前大多数学者将研究重点放在真假推理阶段。

真假推理方法可以分为两类：(1)模型先获得证据集合的整体表示，然后结合陈述和整体表示对结果进行预测。在这类方法中，证据集合的整体表示是关键部分，如果由于存在噪声或不相关信息导致表示不准确，预测结果会受到很大影响；(2)模型先判断每条证据和陈述之间的推理关系，然后聚合所有关系对陈述进行判断。存在一些陈述需要同时结合多条证据进行判断，而此类方法无法解决这种“多跳”问题。这两类方法都存在一定的缺陷，如何规避这两种缺陷是模型设计的难点。

在真假推理任务中，已有方法的局限性主要有以下三点：(1)当前方法对证据与陈述之间推理关系的构建方式比较简单，导致模型的推理能力较弱；(2)当前方法先判断每条证据与陈述之间的关系，通过关系聚合推断陈述的真假，此类方法无法处理“多跳”问题；(3) 当前工作中证据与陈述的交互不足或者交互过度，对推理效果产生负面影响。

发明内容

为解决上述问题，发明目的：为了克服真假推理任务中现有方法的不足，本发明提供了一种基于深度交互推理模型的事实检测方法，该方法能够从不同角度捕捉证据提供的信息，具备处理“多跳”问题的能力，能够深层次挖掘证据和陈述之间的推理关系，通过推理关系对陈述的真实性进行判断。

本发明公开了一种基于深度交互推理模型的事实检测方法，包括如下步骤：

(1)使用BERT模型对陈述和证据分别进行编码；

(2)通过多头映射机制抽取证据的语义信息，并将其保存到记忆池中；

(3)计算陈述与每条证据之间的语义关系；基于注意力机制获取证据集合的整体表示，并计算陈述和证据整体表示之间的推理关系；

(4)将推理结构升级为多层结构，对推理关系进行迭代式地更新；

(5)通过单层前馈神经网络和softmax操作对陈述的真实性进行判断。

作为优选，所述步骤(1)中使用BERT模型对陈述和证据分别进行编码，获得陈述编码Emb_c和证据编码{Emb₁,Emb₂,...,Emb_N}。BERT 使用Transformer作为编码器，Transformer模型利用自注意力机制能够很好地捕捉到不同距离文本之间的关系，进一步通过双向的 Transformer模型保证BERT可以同时考虑到上文和下文的信息。