[发明专利]基于双向长短期记忆网络的文本交叉组合分类方法

说明书

本发明公开了一种基于双向长短期记忆网络的文本交叉组合分类方法，属于自然语言处理领域。方法步骤如下：S1：构建用于对两个文本蕴含关系进行分类的深度神经网络模型，在该模型中先对对待比较蕴含关系的前提文本和假设文本进行分词，将词表征为实数值词向量；然后将实数值词向量分别输入双向长短期记忆循环网络中，分别输出表征文本特征的句向量；把两个句向量分别正向和反向连接得到两个组合向量，然后构建可以表征两文本差异的混合向量并输入分类器；S2：将带标签的语料库送入该模型进行训练。本发明使用双向长短期记忆循环网络提取文本上下文特征，借助交叉组合的方法来表征两文本间的差异，能够确定输入自然语言长文本与目标文本的关系。

技术领域

本发明涉及计算机对人类自然语言文本进行蕴含关系分类处理的一种算法，涉及双向长短期记忆网络和文本向量的交叉组合。

背景技术

自然语言处理是人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。在人工智能发展的大趋势下，智能设备对于人类自然语言的获取、处理是解决设备智能化的一个重要工作。当前已有的智能设备只具备初步的智能功能，能和人进行简单的交互，能理解人发出的一些简单的指令，但仍存在无法对人类的长指令进行识别理解、无法将人类指令进行前后联系，即在时间上没有关联性等问题。

自然语言推理是自然语言处理领域中的一个挑战，也是人工智能实现的基础。自然语言推理也被称为文本蕴涵关系识别(Recognizing Textual Entailment,RTE)。RTE的目标是判断一个自然语言假设h是否可以从自然语言的前提p中推断出来。对于许多自然语言处理应用程序，如阅读理解(RC)、问题答案(QA)和信息检索(IR)，自然语言推理是必不可少的一步。

时间递归神经网络(Recurrent Natural Network,RNN)是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络，时间递归神经网络可以利用它内部的记忆来处理任意时序的输入序列，所以时间递归神经网络被广泛的应用到自然语言处理领域中。由时间递归神经网络发展而来的长短期记忆循环网络(Long Short-Term Memory,LSTM)可以很好的解决时间递归神经网络中存在的“梯度消失”问题。

发明内容

本发明的目的在于解决设备对人类长指令难以识别理解的问题，本发明提出了一种基于双向长短期记忆网络的文本交叉组合分类方法。该方法可以将输入的长文本和目标文本进行比较处理，对两者之间的蕴含关系进行分类，这对进一步理解长指令有着重要的指导作用。

本发明所采用的具体技术方案如下：

基于双向长短期记忆网络的文本交叉组合分类方法，用于比较两个文本的蕴含关系，其步骤如下：

S1：构建用于对两个文本蕴含关系进行分类的深度神经网络模型，在该模型中分类方法如下：

S11：对待比较蕴含关系的前提文本和假设文本进行分词，选择向量转化模型将词表征为实数值词向量；

S12：然后将S11中前提文本和假设文本的实数值词向量分别输入双向长短期记忆循环网络(Bi-direction Long Short-Term Memory,Bi-LSTM)中，分别输出表征文本特征的句向量；

S13：然后把两个句向量分别正向和反向连接得到两个组合向量，将前提向量、假设向量、两个组合向量之差、两个组合向量之积连接得到可以表征两文本差异的混合向量；

S14：最后将所述的混合向量输入分类器，对待比较的两个文本间的蕴含关系进行分类；

S2：将带标签的语料库送入该深度神经网络模型进行训练，训练完成后将该模型用于对文本蕴含关系进行分类。

上述步骤可以采用如下具体方式实现：

作为优选，所述的S11具体实现方式为：