[发明专利]基于2D-LSTM的文本蕴含识别方法

说明书

本发明公开了基于2D‑LSTM的文本蕴含识别方法，属于文本识别技术领域。文本蕴含识别方法包括以下步骤：步骤一、选择两个句子，利用按照两个句子的长短构建一个二维的大小为S*T的网格；步骤二、从左到右、从上到下依次计算每个单元格的记忆向量；步骤三、当计算到网格的右下角的单元格时，以把两个句子中的每个词与对方句子中的每个词进行两两比较，得到比较信息；步骤四、在右下角的单元格中保存比较信息；步骤五、利用比较信息建模两个句子之间的相似程度。而本发明对于目前主流模型的缺陷，都进行了一定程度的规避，同时对其优势，也进行了一定程度地继承。

技术领域

本发明涉及基于2D-LSTM的文本蕴含识别方法，属于文本识别技术领域。

背景技术

文本蕴含识别任务，又称自然语言推理(NLI)，是目前自然语言处理领域一个比较前沿的研究问题。其致力于解决人类语言中，最底层的逻辑问题，可以对绝大部分上层任务(如阅读理解、智能问答等)起到促进作用。文本蕴含任务可以简单理解为对两个句子之间的关系进行判断其是否构成一对蕴含关系，其输入一般是由一对句子组成，即前提句和假设句，输出一般是“蕴含”、“矛盾”、“中立”三者或者“蕴含”、“非蕴含”二者中的一个。文本蕴含任务是为了探究，对于一个前提假设句对，前提句能否根据一般人的常识推理，推导出假设句的成立，也即蕴含关系成立。近年来，随着深度学习技术的发展，更多更大的开源语料集(如SNLI、MultiNLI等)被提出，文本蕴含识别任务得到了更多的关注，也取得了一定的成果。

目前文本蕴含识别任务的解决办法主要有两种大方向，即预计统计模型的和基于深度学习模型的。

基于统计的模型思路比较多，但均无法有效地比较句对中的语义信息，且均需要对句子进行复杂的特征描述和特征提取，人工成本比较高，效率比较差。

基于深度学习的模型目前主要分为两种方向，基于对齐的和基于交互的。前者主要研究前提句和假设句之间的词级别的对齐信息，进而计算两句话之间的逻辑相关程度。而后者主要研究的是两句话之间的表示在进行一定程度的交互后，所抽象出的信息对其蕴含性的反应。这两种方法并不矛盾，也会有综合其二者思路的实现。但总体而言，基于深度学习模型的实现方式，难以同时解决在长文本中，需要对部分不重要的信息进行过滤丢弃，和对短文本中，需要保证关键信息的留存这二者之间的冲突。这也是本发明致力于解决的点。

现有的技术具有如下的缺点：

1.目前主流的基于Transformer模型及其变体实现的文本蕴含识别技术，受限于其原理对于位置关系的引入相对和整体模型关联性不强，而且词语之间的相对位置关系并不能够得到原生性的体现，需要经过二次计算。

2.目前主流的基于RNN模型及其变体实现的文本蕴含识别技术，受限于其原理上的信息丢失缺陷，在处理长句子时，往往在处理句子末尾时，会丢失掉句子开头的信息，造成结果的错误。

3.目前主流的文本蕴含识别技术，在处理长句子与短句子之间的交互时，无法很好的在过滤掉长句中“无关”信息的情况下，保证不丢失短句子的信息，做到合理“遗忘”。

4.目前主流的文本蕴含识别模型，在同时处理两个句子的时候，无法准确地将判断其所需要的逻辑推理路径以一种比较合理而明显地方式展示出来，不具有可解释性。

发明内容

本发明的目的是提出基于2D-LSTM的文本蕴含识别方法，以解决现有技术中存在的问题。

基于2D-LSTM的文本蕴含识别方法，文本蕴含识别方法包括以下步骤：

步骤一、选择两个句子，利用按照两个句子的长短构建一个二维的大小为S*T的网格；

步骤二、从左到右、从上到下依次计算每个单元格的记忆向量；

步骤三、当计算到网格的右下角的单元格时，以把两个句子中的每个词与对方句子中的每个词进行两两比较，得到比较信息；