[发明专利]一种短文本语义相似度度量方法、系统及装置

说明书

本发明公开了一种短文本语义相似度度量方法、系统及装置，该系统包括：向量转化模块，用于将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；特征强化模块，用于将向量A1和向量B1分别转化为特征增强向量A2和特征增强向量B2；特征提取模块，用于根据特征增强向量A2和特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；输出模块，用于根据全局最大池化向量C和全局平均池化向量D得到相似度预测结果。本发明基于神经网络获得待匹配的短文本的语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算。

技术领域

本发明涉及语义相似度计算技术领域，特别是一种短文本语义相似度度量方法、系统及装置。

背景技术

短文本语义相似度(short-text semantic similarity,STSS)的计算，旨在提取并匹配短文本特征，核心任务是自然语言理解，属于一项关键的基础工作。文本相似度在自动问答系统、信息检索、自动文本摘要、文本分类等自然语言处理的任务中都有广泛的应用。

现有的语义相似度模型主要分为两大类：一种是表征类模型，分别提取两句话的特征，输入多层感知机判断是否相似，例如SiameseNet，DSSM，CDSSM；一种是交互类模型，在获得两句话的初级特征后，进行交互，再输入多层感知机预测相似度，例如MatchPyramid，ESIM，DAM。这两类模型均取得了十分卓越的效果。

但现有的计算短文本相似度的方法仍存在一定的局限性：

首先，在词嵌入过程中，通常使用通过GloVe或Fasttext等方法预训练的词向量，存于字典中进行调用，但由于文件过大，经常会导致数据处理时间长于模型预测时间。而且，为增强输入序列信息表征，有时会加入分词信息，而分词后产生的是一个迭代器，获取分词结果的时间是分词耗时的20多倍。这都会导致模型无法在短时间内处理大量文本。

其次，提取句子特征时，通常使用RNN结构，通常是2或4层的GRU或LSTM。循环神经网络的结构设计预示着由于并行度不高而造成的计算速度上的瓶颈，造成TPS下降。此外，每处理一个token，都会造成信息损失，在文本较长的情况下，会造成梯度消失或梯度爆炸，信息损耗过大。

最后，模型参数上，由于模型过于精巧，复杂度高，动辄几百甚至上千万的参数经常会造成模型占用内存较大，同时也需要更多的训练数据。考虑到高质量数据获取和标注耗时耗力，现有相似度模型的应用性和推广性有待进一步提高。

发明内容

本发明为解决上述问题，提供了一种短文本语义相似度度量方法、系统及装置，基于神经网络获得待匹配的短文本的语义特征，结合并强化共有特征，可以实现快速、准确且稳定的语义相似度的计算。

为实现上述目的，本发明采用的技术方案为：

一种短文本语义相似度度量系统，包括：向量转化模块，用于将待匹配的短文本A和短文本B分别转化为向量A1和向量B1；特征强化模块，用于将所述向量A1和所述向量B1分别转化为特征增强向量A2和特征增强向量B2；特征提取模块，用于根据所述特征增强向量A2和所述特征增强向量B2得到全局最大池化向量C和全局平均池化向量D；输出模块，用于根据所述全局最大池化向量C和所述全局平均池化向量D得到相似度预测结果。

优选的，所述向量转化模块包括：序号矩阵转化模块，用于将短文本转化为序号矩阵；词嵌入模块，用于将所述序号矩阵转化为向量。

优选的，所述特征强化模块包括：特征交互模块，用于基于注意力机制，得到注意力权重，并将所述向量A1乘以所述注意力权重，得到加权向量A1'，将所述向量B1乘以所述注意力权重，得到加权向量B1'；第一特征融合模块，用于根据所述向量A1和所述加权向量A1'得到所述特征增强向量A2，根据所述向量B1和所述加权向量B1'得到所述特征增强向量B2。

优选的，所述注意力机制为局部注意力机制。