[发明专利]网页去重方法和设备

权利要求书

1.一种网页去重方法，其特征在于，包括：

在目标网页中提取出至少一个核心句，所述核心句是指含有网页主要内容信息的句子；

将每个所述核心句映射为唯一的数值，组成第一数值集；

确定所述第一数值集与每个第二数值集的交集以及每个交集中包含的数值的个数，并确定出所述每个交集中包含的数值的个数的最大值，所述第二数值集为预先确定的备选网页集中每个网页包含的核心句映射得到的数值组成的集合；

当所述最大值与所述第一数值集中的数值的总数量的比值大于设定阈值时，则将所述目标网页作为重复网页处理。

2.根据权利要求1所述的方法，其特征在于，还包括：

将已存的网页组成的集合确定为备选网页集；

将所述备选网页集中每个备选网页包含的核心句映射为唯一的数值后，将所述每个备选网页包含的核心句映射得到的数值组成一个第二数值集。

3.根据权利要求1所述的方法，其特征在于，还包括：

对所述目标网页进行归类；

将已存的网页中与所述目标网页属于同一类别的网页组成的集合确定为备选网页集；

将所述备选网页集中每个备选网页包含的核心句映射为唯一的数值后，将所述每个备选网页包含的核心句映射得到的数值组成一个第二数值集。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述在目标网页中提取出核心句，包括：

在所述目标网页的正文中，根据每个实词的词频或者权值，确定出关键词，按照所述目标网页的正文中各个句子中包含的关键词的个数从多到少的顺序，选取预设个数的句子作为核心句；或者，

在所述目标网页的正文中，采用基于句子相似度的聚类算法进行聚类处理，计算出预设个数的聚类中心，将各个聚类中心作为核心句。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述将每个所述核心句映射为唯一的数值，包括：

采用哈希hash算法、消息摘要算法第五版MD5算法或者异或算法，将每个核心句映射为唯一的数值。

6.根据权利要求3所述的方法，其特征在于，所述对所述目标网页进行归类，包括：

在所述目标网页的正文中，根据每个实词的词频或者权值，确定出关键词，根据所述关键词确定出所述目标网页属于的类别。

7.根据权利要求4-6任一项所述的方法，其特征在于，还包括：

对所述目标网页的正文进行预处理，得到所述目标网页的正文中的实词，所述预处理包括如下项中的至少一项：断句、分词、词性标注、过滤停用词、过滤虚词。

8.一种网页去重设备，其特征在于，包括：

提取模块，用于在目标网页中提取出至少一个核心句，所述核心句是指含有网页主要内容信息的句子；

映射模块，用于将每个所述核心句映射为唯一的数值，组成第一数值集；

比较模块，用于确定所述第一数值集与每个第二数值集的交集以及每个交集中包含的数值的个数，并确定出所述每个交集中包含的数值的个数的最大值，所述第二数值集为预先确定的备选网页集中每个网页包含的核心句映射得到的数值组成的集合；

去重模块，用于当所述最大值与所述第一数值集中的数值的总数量的比值大于设定阈值时，则将所述目标网页作为重复网页处理。

9.根据权利要求8所述的设备，其特征在于，还包括：

确定模块，用于将已存的网页组成的集合确定为备选网页集，并将所述备选网页集中每个备选网页包含的核心句映射为唯一的数值后，将所述每个备选网页包含的核心句映射得到的数值组成一个第二数值集。

10.根据权利要求8所述的设备，其特征在于，还包括：

归类模块，用于对所述目标网页进行归类，以及将已存的网页中与所述目标网页属于同一类别的网页组成的集合确定为备选网页集，并将所述备选网页集中每个备选网页包含的核心句映射为唯一的数值后，将所述每个备选网页包含的核心句映射得到的数值组成一个第二数值集。