[发明专利]一种网页去重的方法及系统

权利要求书

1、一种网页去重的方法，其特征在于，包括：

在备选网页中选取预设数量的词语；

在网页集合中选取含有上述词语数量最多的网页作为基准网页；

如所述基准网页中包含上述词语的数量大于设定阈值，则将所述备选网页作为重复网页进行处理。

2、如权利要求1所述的方法，其特征在于，还包括：

如所述基准网页中包含上述词语的数量小于设定阈值，则将所述备选网页加入所述网页集合。

3、如权利要求1所述的方法，其特征在于，在备选网页中选取预设数量的词语之前，还包括：

对所述备选网页中词语的属性进行标注，过滤属性为停用词和虚词的词语。

4、如权利要求1、2或3所述的方法，其特征在于，按照权值从大到小的顺序在所述备选网页中选取预设数量的词语。

5、如权利要求4所述的方法，其特征在于，在所述备选网页中选取预设数量的词语之前，还包括：

将各词语的训练文本数除以总训练文本数的商取对数，获得的数值再乘以所述备选网页文本中出现该词语的次数，得到所述备选网页中各词语的权值。

6、如权利要求1所述的方法，其特征在于，按下述步骤，在网页集合中选取含有上述词语数量最多的网页作为基准网页；

将上述预设数量的词语作为查询串，在所述网页集合中检索；

按照包含上述词语的数量从大到小将检索到的网页排序；

将排序第一的网页作为基准网页。

7、如权利要求6所述的方法，其特征在于，将所述备选网页作为重复网页进行处理之前，还包括：

选取排序第二的网页作为基准网页；

将该基准网页中所包含的上述词语的数量与设定阈值进行比较；

如该基准网页中所包含的上述词语的数量大于设定阈值，确定所述备选网页为重复网页。

8、如权利要求6或7所述的方法，其特征在于，确定所述备选网页为重复网页之前，还包括：

依次选取排序在后的网页作为基准网页；

将该基准网页中所包含的上述词语的数量与设定阈值进行比较；

如该基准网页中所包含的上述词语的数量大于设定阈值，确定备选网页为重复网页处理。

9、一种网页去重的系统，其特征在于，包括词语选取单元、基准网页选取单元、比较单元、及处理单元：

所述词语选取单元，用于在备选网页中选取预设数量的词语；

所述基准网页选取单元，用于在网页集合中选取含有上述词语数量最多的网页作为基准网页；

所述比较单元，用于在所述基准网页中包含上述词语的数量大于设定阈值时，启动所述处理单元；

所述处理单元，用于将所述备选网页作为重复网页进行处理。

10、如权利要去9所述的系统，其特征在于，还包括权值计算单元，用于计算上述各词语的权值，并将计算结果传送到所述词语选取单元；

所述词语选取单元按照权值从大到小的顺序在备选网页中选取预设数量的词语。