[发明专利]一种文本相似性的比较方法以及装置

摘要

本发明公开了一种文本相似性的比较方法以及装置，其中，所述方法包括：提取两个以上文本的初始特征向量；所述初始特征向量中至少一个元素的权重值被赋予最小权重值的倍数值，其他元素的权重值被赋予最小权重值；根据所述倍数在初始特征向量中增加相应元素形成新的特征向量；根据所述新的特征向量，比较所述两个以上文本的相似性。本发明提供的文本相似性的比较方法以及装置，能够提高文本信息表示的准确度，使得相似性的比较结果更符合用户的需要。 1

主权项

1.一种文本相似性的比较方法，包括：

提取两个以上文本的初始特征向量；

所述初始特征向量中至少一个元素的权重值被赋予最小权重值的倍数值，其他元素的权重值被赋予最小权重值；

根据所述倍数在初始特征向量中增加相应元素形成新的特征向量；

根据所述新的特征向量，比较所述两个以上文本的相似性。

2.根据权利要求1所述的文本相似性的比较方法，其特征在于，根据所述新的特征向量，比较所述两个以上文本的相似性具体为：对所述新的特征向量进行最小哈希运算，根据运算结果比较所述两个以上文本的相似性。

3.根据权利要求1所述的文本相似性的比较方法，其特征在于，根据所述新的特征向量，比较所述两个以上文本的相似性具体为：根据所述新的特征向量之间的内积或夹角的余弦比较所述两个以上文本的相似性。

4.根据权利要求1‑3中任一所述的文本相似性的比较方法，其特征在于，将文本进行分词处理，进一步进行去无用信息处理后形成所述初始特征向量。

5.根据权利要求4所述的文本相似性的比较方法，其特征在于，将文本进行分词处理并去无用信息形成字词序列，根据字词序列中字词出现频率由高到低的顺序排列字词，由前至后取出预设数量的字词形成所述初始特征向量。

6.根据权利要求1‑3、5中任一所述的文本相似性的比较方法，其特征在于，计算初始特征向量中每一个元素的字词频率，所述字词频率为元素在所述文本中出现的次数，根据所述字词频率确定所述初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。

7.根据权利要求1‑3、5中任一所述的文本相似性的比较方法，其特征在于，计算初始特征向量中每一个元素的文档频率，所述文档频率为包括了所述元素的文本数量，逆文档频率为与所述文档频率呈反比的函数值，根据所述逆文档频率确定所述初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。

8.根据权利要求1‑3、5中任一所述的文本相似性的比较方法，其特征在于，计算初始特征向量中每一个元素的字词频率以及逆文档频率，根据计算得到的所述字词频率以及所述逆文档频率确定特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。

9.根据权利要求1‑3、5中任一所述的文本相似性的比较方法，其特征在于，根据初始特征向量中每一个元素在文本中所处的位置确定元素的权重值。

10.根据权利要求9所述的文本相似性的比较方法，其特征在于，所述位置包括文本标题，文本摘要，文本正文。