[发明专利]一种单选择门与类间度量的细粒度语义相似识别的方法

说明书

本发明公开了一种单选择门与类间度量的细粒度语义相似识别的方法，涉及自然语言处理技术领域，技术方案为，包括搭建单选择门与类间度量的细粒度语义相似识别网络，通过对语句对进行编码得到上下文向量，再有单选择门对上下文向量进行核心信息挑选，将挑选的语句对核心信息输入匹配层若进行核心内容的匹配，再将输出的向量经融合层变为一个固定长度的向量，通过函数得到语句对的相似度得分，同时计算输出语句对之间的类间损失，将原损失和类间损失进行加权融合，使得学习的特征类间间距更小。本发明的有益效果是：本方案对经LSTM网络向量化的句子对进行核心特征提取，可以除去具有相关性的冗余特征，学习到细粒度级别的区分性特征。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种单选择门与类间度量的细粒度语义相似识别的方法。

背景技术

在自然语言处理领域，语义相似度占据着重要的地位，它主要应用于社区问答系统、文本摘要评价、释义识别等方面。语义相似度识别主要分为无核心信息识别的语义相似度模型和有核心识别并匹配的语义相似度识别的模型。但随着注意力模型的出现，语义相似度识别的到了快速的发展。但目前主流的方法是基于注意力的语义相似度的算法。这种算法利用了深度学习技术，使得训练生成的语义相似度得分与语句对标签更加接近。这种模型的缺点是不能提取语句对的核心信息，并利用核心信息得到准确的语义相似度得分。

在传统的语义相似度计算方法中，利用了卷积神经网络将两个句子进行编码并提取特征，在句子特征层上应用余弦函数计算相似度得分。随着深度的发展，注意力机制被应用在神经网络中，使得捕捉核心特征的能力大大提升。利用注意力机制在句子特征层上采用注意池化，在汇集层上得到输入语料对间的相互依从关系，进而完成相似度计算。

由于输入网络中的语句对相关度较高，冗余特征较多，提出了一种基于选择门与类间度量的细粒度语义相似度识别模型，通过选择门对句子对上下文向量赋予不同的权重，可以去除具有相关性的冗余特征，学习到细粒度级别的区分性特征。于此同时还提出了一种基于原损失的融合损失方法，将原损失和句子对语义相关度损失进行加权融合，在网络训练的过程中使得学习的特征类间距离更小，最终本文方法能够有效的提高句子对相似度识别的准确率。

发明内容

针对上述技术问题，本发明提供一种单选择门与类间度量的细粒度语义相似识别的方法。

其技术方案为，包括：

S1、将获取的语料生成中文语句对；

S2、利用词向量模型将S1生成的中文语句对进行向量化，得到词向量；

S3、将S2得到的词向量输入LSTM网络中得到语句对的上下文向量；

S4、利用选择门选取语句对上下文向量中的核心信息；

S5、将S4获取的核心信息输入匹配层完成信息匹配，通过信息匹配获取匹配向量；

S6、将匹配向量输入另外一个LSTM网络中得到语句对匹配信息的向量，将匹配向量经融合层变为一个固定长度的向量，通过Softmax函数得到语句对的相似度得分；

S7、计算经LSTM网络输出所述语句对之间的类间损失，将原损失和类间损失进行加权融合，使得学习的特征类间间距更小。

优选为，所述步骤S2中，利用词向量模型将中文语句对进行向量化的具体为：构建词向量模型，所述词向量模型使用300维的GloVe初始化词向量，权重矩阵使用服从U(-0.01，0.01)的均匀分布随机初始化，偏移矩阵初始化为0；

将中文语句对经jieba分词后输入GloVe模型中，通过深度学习的方法不断改变网络的权重和偏置，得到每个词对应的向量；

优选为，此处可通过建立损失函数经反向求导，来改变权重和偏执，损失函数即为类间损失计算方法。