[发明专利]一种网页文本相似度的计算方法和装置

说明书

本申请实施例公开了一种网页文本相似度的计算方法，在计算网页文本相似度时，获取各网页文本对应的关键词，构建每个网页文本与对应关键词的映射关系表。分别以映射关系表中每个关键词作为目标关键词，确定目标关键词对应的网页文本集合。将网页文本集合中所属预设主题相同的网页文本聚类至同一网页文本子集，得到目标关键词对应的至少一个网页文本子集。计算每个网页文本子集中任两个网页文本之间的相似度。通过将根据关键词对网页文本进行初步聚类，以及根据网页文本所属预设主题对网页文本进行最终聚类相结合，在减少相似度计算量的基础上，提高了网页文本聚类的准确性，进而提高网页文本相似度计算的准确性，改善相似网页文本识别的准确率。

技术领域

本申请涉及互联网领域，特别是涉及一种网页文本相似度的计算方法和装置。

背景技术

随着互联网技术的迅猛发展，数据正以前所未有的规模急速增加，海量数据中存在很多相似网页文本，确定海量数据中的相似网页文本对于相似网页文本的推荐、去重等非常重要。

确定相似网页文本需要计算网页文本之间的相似度，由于海量数据中包括亿级网页文本，如果针对任意两个网页文本都计算相似度，将会导致计算量过大，计算速度极为缓慢。故，目前通过simhash算法计算网页文本的相似度，即通过对所有网页文本进行分词，得到各个分词的哈希值，进而根据各个分词的哈希值分别生成每个网页文本的签名值。然后根据签名值对网页文本进行聚类，针对同一类别中的网页文本计算网页文本之间的相似度。

但是由于不同分词对应的哈希值不同，对于较短的网页文本来说，每个分词的哈希值在签名值中所占比重较大，网页文本中一个分词的不同都会导致网页文本之间的签名值存在较大差异。这样，即使两个网页文本相似，也会由于二者之间签名值的较大差异将二者划分到不同类别，可能导致直接确定这两个网页文本不相似。可见，simhash算法针对较短的网页文本确定相似文本时，会出现聚类不准确而导致相似网页文本的识别准确率较低的问题。

发明内容

为了解决上述技术问题，本申请提供了一种网页文本相似度的计算方法和装置，在减少相似度的计算量、提高计算速度的基础上，提高了网页文本聚类的准确性，进而提高网页文本之间相似度计算的准确性，使得相似网页文本的识别准确率明显改善。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种网页文本相似度的计算方法，所述方法包括：

获取网页文本数据库中各个网页文本对应的关键词，构建每个网页文本与对应关键词的映射关系表；

分别以映射关系表中的每个关键词作为目标关键词，确定所述目标关键词对应的网页文本集合；所述目标关键词对应的网页文本集合包括所述目标关键词对应的网页文本；

针对所述目标关键词对应的网页文本集合，将所述网页文本集合中所属预设主题相同的网页文本聚类至同一网页文本子集，得到所述目标关键词对应的至少一个网页文本子集；

对所述目标关键词对应的至少一个网页文本子集，计算每个网页文本子集中任两个网页文本之间的相似度，得到所述目标关键词对应的网页文本之间的相似度。

可选的，所述确定所述目标关键词对应的网页文本集合，包括：

根据所述映射关系表，建立关键词与网页文本之间的倒排关系；

根据所述倒排关系，将与所述目标关键词具有倒排关系的网页文本进行聚合处理，得到所述目标关键词对应的网页文本集合。

可选的，在所述将所述网页文本集合中所属预设主题相同的网页文本聚类至同一网页文本子集之前，所述方法还包括：

确定所述网页文本集合中每个网页文本所属的预设主题。

可选的，所述确定所述网页文本集合中每个网页文本所属的预设主题，包括：