[发明专利]一种基于指纹的网页快速去重算法

权利要求书

1.一种基于指纹的网页快速去重算法，其特征在于：该算法采用基于内容特征提取的方式来进行去重，内容特征的提取方式主要基于代表内容含义的关键词序列提取，再将关键词序列利用散列算法生成唯一的指纹；算法采用以下步骤：

1、取出一篇网页，将网页的内容和标题进行分词。

2、对每个分出来的词进行次数统计。

3、对每个分出来的词计算其词频和逆词频，并计算出用词频乘以逆词频的分值。

4、按照每个词的分值进行从大到小排序。

5、取排列在前5个的词，用逗号拼接。并用MD5算法计算出MD5值。

6、该MD5值即该网页的指纹。

2.根据权利要求1所述的基于指纹的网页快速去重算法，其特征在于：所述如果指纹库为空，则将该指纹添加入指纹库。如果不为空，则将跟指纹与指纹库对比。如果存在相同指纹，则代表该网页已经有雷同网页存在。

3.根据权利要求1所述的基于指纹的网页快速去重算法，其特征在于：所述在步骤5中，取的个数可以视情况而定，拼接符可以任意。