[发明专利]一种文本蕴含识别方法及装置

说明书

本发明属于自然语言处理技术领域，公开了一种文本蕴含识别方法和装置，其通过动态门控推理网络(DGIN)动态选择前提和假设文本不同层面语义的信息，具体体现在DGIN模型结合了词级别信息的细粒度推理和句子级别门控结构来捕捉全局语义，同时从直接相连，相似和差异三个层面来共同推理文本对的蕴含关系。本发明可以有效捕捉文本对的关系以及利用句子级别语义信息，从而提升文本蕴含识别的准确率。

技术领域

本发明涉及自然语言推理技术领域，特别是涉及一种文本蕴含识别方法和装置。

背景技术

自然语言推理(Nature Language Inference,NLI)任务是自然语言处理的一个重要子任务，是否能推理出两段文本之间的关系是机器进一步理解自然语言的基础。自然语言推理又被称为文本蕴含识别(Recognizing Textual Entailment，简称RTE)，是指给定两段文本P,和H，其中P为前提(Premise)，H为假设(Hypothesis)，若能从前提P的内容中推断出假设H的内容，则称P和H为蕴含关系，否则为非蕴含关系，非蕴含关系可进一步划分为中立关系(P和H的事实无关)和矛盾关系(P和H两者内容矛盾)。文本蕴含技术是关系抽取、机器阅读理解、对话问答、文本摘要等任务的技术基础，运用文本蕴含技术可进一步提高这些任务的精度。

早期的文本蕴含研究大多采用特征工程方法，通过相似度特征、逻辑演算、基于转换等方式，构建各种特征来判断文本的蕴含关系。近年来随着深度学习理论的完善和大规模文本蕴含数据的发布，越来越多基于神经网络的文本蕴含模型被提出。

现有方式一，基于文本编码的模型是通过训练一个句子级别编码网络，来分别编码前提和假设的句子表示，并将表示向量连接后用于两段文本的关系分类。文本编码模型则可通过LSTM，CNN，注意力机制等构造。这种方式可提升句子语义表示，但缺少了文本之间的交互，而对于文本蕴含任务来说，交互特征对蕴含关系的识别十分重要。

现有方式二，基于交互聚合网络则是采用注意力机制对前提和假设文本进行交互，通过计算词级别注意力矩阵来提取前提和假设的交互特征，并将交互特征再次编码用于分类。由于不同的交互特征均通过此注意力矩阵构造，而此注意力矩阵仅计算一次，这样带来的问题是如果前一层的文本表示稍有偏颇，则会影响局部注意力矩阵的结果，进而得到不准确的交互特征；且随着对句子语义理解的深入，句子中词的重要程度也应动态变化。

现有方式三，基于动态匹配的思想对前提和假设文本进行动态推理，但都是基于词级别细粒度特征进行推理，并没有结合句子级别语义信息。

例如，现有专利(公开号CN109299262A)公开了一种融合多粒度信息的文本蕴含关系识别方法，该文本蕴含关系识别方法通过字词句层面的融合和分别计算不同粒度的注意力来实现文本蕴含关系的识别。具体来说，该方法在不同粒度来计算各种交互注意力，即词之间，词句之间，句子之间的注意力；同时该方法中词级别注意力计算的是双向非动态交互，句子级别体现直接计算句子级别注意力并用于分类结果。该方法虽然采用了交互注意力机制，但文本蕴含的识别精度依然不高。

因此，如何在现有文本蕴含识别技术的基础上，进一步提升运用文本蕴含识别的精度，仍旧是本领域技术人员研究和改进的方向。

发明内容

技术目的

本发明的目的是如何进一步提升自然语言处理过程中文本蕴含识别的精度。

技术方案

第一方面