[发明专利]重复网页识别方法和装置

权利要求书

1.一种重复网页识别方法，其特征在于，包括：

从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；

依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合。

2.根据权利要求1所述的方法，其特征在于，在依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合之后，还包括：

对所述重复网页集合中的重复网页是否重复进行验证。

3.根据权利要求1或2所述的方法，其特征在于，从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合包括：

根据互联网网页链接关系库获取设定网页资源的至少两个反向链接网页的锚文本以及链接地址；

将反向链接网页中相同反向链接数量超过预定相同反向链接数量阈值，并且锚文本相似度超过锚文本相似度阈值的反向链接网页作为重复网页组；

计算所述重复网页组中网页的网页相似度，并将相似度满足设定阈值的网页作为一组原始重复网页。

4.根据权利要求3所述的方法，其特征在于，所述锚文本相似度是锚文本代码中相同代码占全部锚文本代码的比率。

5.根据权利要求1或2所述的方法，其特征在于，从与所述至少一组原始重复网页有链接关系的网页中识别候选重复网页，并将所述候选重复网页存储至重复网页集合包括：

将所述至少一组原始重复网页作为当前网页，根据当前网页上的锚文本识别无效链接，并将所述无效链接从当前网页上去除；

获取当前网页中XPATH相同、锚文本相同或相近的重复链接；

将所述重复链接指向的网页作为候选重复网页存储至重复网页集合；

将所述候选重复网页作为当前网页，返回执行所述去除无效链接的操作，直至获取到的新的候选重复网页的数量小于或等于设定稳定值。

6.根据权利要求2所述的方法，其特征在于，对所述重复网页集合中的重复网页是否重复进行验证包括：

抓取所述重复网页集合中重复网页的代码；

根据所述重复网页的代码计算重复网页的网页相似度；

确认网页相似度高于相似度阈值的重复网页作为实际重复网页。

7.根据权利要求6所述的方法，其特征在于，所述网页相似度是网页代码中相同代码占全部网页代码的比率。

8.一种重复网页识别装置，其特征在于，包括：

原始重复网页识别模块，用于从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；

候选重复网页识别模块，用于依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合。

9.根据权利要求8所述的装置，其特征在于，还包括：

重复网页验证模块，用于在从与所述至少一组原始重复网页有链接关系的网页中识别重复网页，并将该重复网页存储至重复网页集合之后，对所述重复网页集合中的重复网页是否重复进行验证。

10.根据权利要求8或9所述的装置，其特征在于，所述原始重复网页识别模块包括：

特征提取单元，用于根据互联网网页链接关系库获取设定网页资源的至少两个反向链接网页的锚文本以及链接地址；

重复网页组确定单元，用于将反向链接网页中相同反向链接数量超过预定相同反向链接数量阈值，并且锚文本相似度超过锚文本相似度阈值的反向链接网页作为重复网页组；

重复网页确定单元，用于计算所述重复网页组中网页的网页相似度，并将相似度满足设定阈值的网页作为一组原始重复网页。

11.根据权利要求10所述的装置，其特征在于，所述锚文本相似度是锚文本代码中相同代码占全部锚文本代码的比率。