[发明专利]一种计算文本相似度的方法、系统、设备和存储介质

权利要求书

1.一种计算文本相似度的方法，其特征在于，包括如下步骤：

分别将待比对文本和基准文本进行预处理；

统计每个词语分别在所述待比对文本和所述基准文本中的频率，并根据所述频率分别将预处理后的待比对文本和基准文本转化为特征向量；

采用向量空间模型算法计算所述待比对文本的特征向量和所述基准文本的特征向量的相似度值，并判断所述相似度值是否达到阈值；以及

响应于所述相似度值达到阈值，将相似部分高亮显示。

2.根据权利要求1所述的方法，其特征在于，所述分别将待比对文本和基准文本进行预处理包括：

分别将待比对文本和基准文本划分成段落，将段落划分成句子，将经过处理得到的每一个句子进行中文分词，并将每一个句子中的停用词进行删除。

3.根据权利要求2所述的方法，其特征在于，所述将经过处理得到的每一个句子进行中文分词包括：

每次取最末端的预设数量个字符作为匹配字段，将所述匹配字段与分词词典中的词条进行匹配；

响应于匹配成功，将所述匹配字段作为词语进行保留。

4.根据权利要求3所述的方法，其特征在于，所述将经过处理得到的每一个句子进行中文分词还包括：

响应于匹配失败，去掉匹配字段最前面的一个字，将剩下的匹配字段与所述分词词典中的词条进行匹配。

5.根据权利要求4所述的方法，其特征在于，所述将经过处理得到的每一个句子进行中文分词还包括：

响应于匹配字段只有一个字，将所述匹配字段与停用词词库中的词条进行匹配；以及

响应于匹配成功，从所述匹配字段的前一个字开始取最末端的预设数量个字符作为匹配字段。

6.根据权利要求1所述的方法，其特征在于，所述根据所述频率分别将预处理后的待比对文本和基准文本转化为特征向量包括：

根据所述待比对文本和所述基准文本不同词语的种类确定特征向量的维数，根据每种词语分别在所述待比对文本和所述基准文本中的频率确定所述词语在对应的特征向量中的权重。

7.根据权利要求1所述的方法，其特征在于，所述采用向量空间模型算法计算所述待比对文本的特征向量和所述基准文本的特征向量的相似度值包括：

计算所述待比对文本的特征向量和所述基准文本的特征向量的夹角余弦值。

8.一种计算文本相似度的系统，其特征在于，包括：

处理模块，配置用于分别将待比对文本和基准文本进行预处理；

转化模块，配置用于统计每个词语分别在所述待比对文本和所述基准文本中的频率，并根据所述频率分别将预处理后的待比对文本和基准文本转化为特征向量；

计算模块，配置用于采用向量空间模型算法计算所述待比对文本的特征向量和所述基准文本的特征向量的相似度值，并判断所述相似度值是否达到阈值；以及

显示模块，配置用于响应于所述相似度值达到阈值，将相似部分高亮显示。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-7任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。