[发明专利]一种文本相似性的比较方法以及装置

说明书

本发明公开了一种文本相似性的比较方法以及装置，其中，所述方法包括：提取两个以上文本的初始特征向量；所述初始特征向量中至少一个元素的权重值被赋予最小权重值的倍数值，其他元素的权重值被赋予最小权重值；根据所述倍数在初始特征向量中增加相应元素形成新的特征向量；根据所述新的特征向量，比较所述两个以上文本的相似性。本发明提供的文本相似性的比较方法以及装置，能够提高文本信息表示的准确度，使得相似性的比较结果更符合用户的需要。

技术领域

本发明涉及互联网技术领域，尤其涉及一种信息的相似性的比较方法和装置。

背景技术

随着互联网技术的不断发展和日益普及，新闻等文本信息用户所面对的信息量正在以惊人的速度增长，对能够方便地获取自己感兴趣的文本信息的需求越来越迫切。

由于文本信息量急速增加，文本类别越发细化，并具有很强的实时性，往往更新迅速，时效极短，因此对文本进行有效的聚类，以提供给不同的用户或者提供给不同的应用是十分重要的。

现有技术中，首先提取文本的特征向量，再根据不同文本特征向量比较文本的相似性。例如某一文本，提取的特征向量为(马伊俐新片尺度大职场御姐范儿就得这么穿)，另一文本提取的特征向量为(欧美风服饰搭配晋级职场御姐范儿)，通过比较两个特征向量可以确定两个文本的相似性。

然而，现有技术比较文本相似性时，并不考虑文本特征向量中字词元素的重要性，因此，可能会将在实际上大众不会同时感兴趣的两个文本信息聚类到一起。

但是，现有的最小哈希算法用于对文本信息进行聚类时，并不考虑文本中每一个字词元素的重要性，因此，可能会将在实际上大众不会同时感兴趣的两个文本信息聚类到一起。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决或者减缓上述问题的一种文本相似性的比较方法和装置。

根据本发明的一个方面，提供了一种文本相似性的比较方法，包括：提取两个以上文本的初始特征向量；初始特征向量中至少一个元素的权重值被赋予最小权重值的倍数值，其他元素的权重值被赋予最小权重值；根据倍数在初始特征向量中增加相应元素形成新的特征向量；根据新的特征向量，比较两个以上文本的相似性。

可选地，在根据本发明的实施例的文本相似性的比较方法中，根据新的特征向量，比较两个以上文本的相似性具体为：对新的特征向量进行最小哈希运算，根据运算结果比较两个以上文本的相似性。

可选地，在根据本发明的实施例的文本相似性的比较方法中，根据新的特征向量，比较两个以上文本的相似性具体为：根据新的特征向量之间的内积或夹角的余弦比较所述两个以上文本的相似性。

可选地，在根据本发明的实施例的文本相似性的比较方法中，将文本进行分词处理，进一步进行去无用信息处理后形成初始特征向量。

可选地，在根据本发明的实施例的文本相似性的比较方法中，将文本进行分词处理并去无用信息形成字词序列，根据字词序列中字词出现频率由高到低的顺序排列字词，由前至后取出预设数量的字词形成初始特征向量。

可选地，在根据本发明的实施例的文本相似性的比较方法中，计算初始特征向量中每一个元素的字词频率，字词频率为元素在文本中出现的次数，根据字词频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。

可选地，在根据本发明的实施例的文本相似性的比较方法中，计算初始特征向量中每一个元素的文档频率，文档频率为包括了元素的文本数量，逆文档频率为与文档频率呈反比的函数值，根据逆文档频率确定初始特征向量的最小权重值及其对应的元素，最小权重值的倍数权重值及其对应的元素。