[发明专利]一种短句相似度的计算方法及系统

说明书

本发明公开了一种短句相似度的计算方法及系统，方法包括：通过对待计算相似度的第一短句、第二短句进行分词处理，根据每个分词所包含的每个字的字向量，及通过近同义词库获得该分词的所有近同义词所包含的每个字的字向量，分别计算第一短句、第二短句中每个分词的TFIDF值及词向量，分别对第一短句、第二短句的各个词向量及其TFIDF值对应的动态权重进行加权求和，得到第一短句、第二短句对应的句向量，利用余弦相似度计算第一短句、第二短句的相似度。本发明提出基于字向量和分词的TFIDF值动态权重的句向量，提高了关键词的突出能力，采用字向量避免了没有对应词向量的问题，使用近义词弥补了字向量的缺陷，提高相似度的准确率。

技术领域

本发明涉及计算机技术领域，具体涉及一种短句相似度的计算方法及系统。

背景技术

汉语属于弱语法语言，其语言表达的丰富性往往为语义匹配带来挑战，比如词序的颠倒、近同义词等问题；为了让匹配算法适应这种丰富性，借助上下文是一个可行的思路，比如在判断词的语义一致性时，认为同样上下文的情况下，不同的词所表达的语义是一致的，这个判别标准同样可以扩展到句子级别，即上下文一致的情况下，不同句子表达的语义是一致，因此，在处理中长句子时，句子的长度让语义得以表达的更加浅显，语义匹配的难度更小。相对的，在短句的语义匹配中，语义的表达受到了限制，句子层面的语义表达性减弱，而单个词或者字对语义表达的贡献度也变大，可能一个虚词都会导致语义的偏差，因此，我们所要解决的关键问题就是如何对短句进行语义匹配。

目前，常用的方法有：常用的基于字面距离的语义匹配，虽然能够简单直观的进行计算，但同义、近义、多义词、等效语义短语无法体现；基于机器学习的语义匹配，表示相关的任务，不同任务会出现不同的表示，然后以标注数据为模型设定一个目标，通过目标判断两个句子是相似或不相似，模型在学习的过程中不断拟合特征和目标之间的关系，寻找到潜在的语义规律，需要大量的标注数据对模型进行训练，标注质量也会影响模型的训练；基于句向量的语义匹配，不依赖于训练数据，通过bert预训练的模型得到词向量和句向量，通过距离或向量夹角可以直接评价句子之间的语义相似度，但是基于word2vec的句向量提取方法存在大量未登陆词问题(没有对应的词向量)，会影响到整体的向量空间，简单的平均或是池化操作无法过滤到一些无用词(虚词)的影响，基于预训练模型的句向量提取方法在中长句上更有优势，在短句上容易受到无用词的影响，存在短句间相似度计算准确率低的问题。

发明内容

因此，本发明提供的一种短句相似度的计算方法及系统，克服了现有技术中短句间的相似度计算准确率低的缺陷。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种短句相似度的计算方法，包括：

获取待计算相似度的第一短句、第二短句，并分别对第一短句、第二短句进行分词处理；

根据第一短句、第二短句中的每个分词所包含的每个字的字向量，及通过预设近同义词库获得该分词的所有近同义词所包含的每个字的字向量，分别计算第一短句、第二短句中每个分词的TFIDF值及词向量；

分别对第一短句、第二短句的各个词向量及其TFIDF值对应的动态权重进行加权求和，得到第一短句、第二短句对应的句向量；

基于第一短句、第二短句的句向量，利用余弦相似度计算第一短句、第二短句的相似度。

在一实施例中，TFIDF值根据每个分词对语义的贡献比例进行计算；通过第一短句、第二短句中的每个分词所包含的每个字的字向量计算短句中每个分词的词向量；通过预设近同义词库获得该分词的所有近同义词所包含的每个字的字向量计算每个分词的词向量。

在一实施例中，通过以下公式计算TFIDF值对应的动态权重：