[发明专利]网页去重方法及装置

权利要求书

1.一种网页去重方法，其特征在于，包括：

获取预定类型的网页；以及

针对每个网页，提取出当前网页的特征码和当前网页正文包含的字数，并查询预设的 数据表中是否包含所述特征码，若包含所述特征码，则读取所述数据表中与所述特征码对 应的网页正文的字数，并当读取到的字数和提取出的字数间的字数差在预设范围内时，丢 弃所述当前网页。

2.根据权利要求1所述的方法，其特征在于，在所述查询预设的数据表中是否包含所 述特征码之后，还包括：

若所述数据表中未包含所述特征码，则将提取出的所述当前网页的特征码和字数对应 写入所述数据表中。

3.根据权利要求1所述的方法，其特征在于，还包括：

当读取到的字数和提取的字数间的字数差未在预设范围内时，将提取出的所述当前网 页的特征码和所述字数对应写入所述数据表中。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述提取当前网页的特征码， 包括：

获取当前网页正文包含的段落；

针对每个段落，在当前段落的预设位置选取第一预设数量的字符；以及

将选取的所有段落的字符拼接成字符串，并对所述字符串进行运算，以生成所述特征 码。

5.根据权利要求4所述的方法，其特征在于，所述在当前段落的预设位置选取第一预 设数量的字符，包括：

以所述当前段落的中间位置为中心，从所述中心的左侧和右侧选取第二预设数量的字 符，其中，所述第二预设数量为所述第一预设数量的二分之一，且所述第二预设数量为3-8 个。

6.根据权利要求5所述的方法，其特征在于，所述第二预设数量优选为5个。

7.一种网页去重装置，其特征在于，包括：

获取模块，用于获取预定类型的网页；以及

第一处理模块，用于针对每个网页，提取出当前网页的特征码和当前网页正文包含的 字数，并查询预设的数据表中是否包含所述特征码，若包含所述特征码，则读取所述数据 表中与所述特征码对应的网页正文的字数，并当读取到的字数和提取出的字数间的字数差 在预设范围内时，丢弃所述当前网页。

8.根据权利要求7所述的装置，其特征在于，还包括：

第二处理模块，用于在所述第一处理模块查询预设的数据表中是否包含所述特征码之 后，若所述数据表中未包含所述特征码，则将提取出的所述当前网页的特征码和字数对应 写入所述数据表中。

9.根据权利要求7所述的装置，其特征在于，还包括：

第三处理模块，用于当读取到的字数和提取的字数间的字数差未在预设范围内时，将 提取出的所述当前网页的特征码和所述字数对应写入所述数据表中。

10.根据权利要求7-9任一项所述的装置，其特征在于，所述第一处理模块，具体用 于：

获取当前网页正文包含的段落；针对每个段落，在当前段落的预设位置选取第一预设 数量的字符；以及将选取的所有段落的字符拼接成字符串，并对所述字符串进行运算，以 生成所述特征码。

11.根据权利要求10所述的装置，其特征在于，所述第一处理模块，具体用于：

以所述当前段落的中间位置为中心，从所述中心的左侧和右侧选取第二预设数量的字 符，其中，所述第二预设数量为所述第一预设数量的二分之一，且所述第二预设数量为3-8 个。

12.根据权利要求11所述的装置，其特征在于，所述第二预设数量优选为5个。