[发明专利]重复网页识别方法和装置有效
| 申请号： | 201410324553.2 | 申请日： | 2014-07-08 |
| 公开（公告）号： | CN104063506B | 公开（公告）日： | 2017-04-12 |
| 发明（设计）人： | 李羽;颜俊伟;李浩 | 申请（专利权）人： | 百度在线网络技术（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京品源专利代理有限公司11332 | 代理人： | 邓猛烈,胡彬 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种重复网页识别方法和装置。所述重复网页识别方法包括从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合。本发明实施例公开的重复网页识别方法和装置利用互联网网页之间的相互链接关系提高了重复网页的识别效率。 | ||
| 搜索关键词： | 重复 网页 识别 方法 装置 | ||
【主权项】：
一种重复网页识别方法，其特征在于，包括：从互联网网页中识别至少一组原始重复网页，并将所述至少一组原始重复网页存储至重复网页集合；依据互联网网页的链接关系，从与所述至少一组原始重复网页有链接关系的网页中迭代的识别候选重复网页，并将所述候选重复网页存储至重复网页集合；从与所述至少一组原始重复网页有链接关系的网页中识别候选重复网页，并将所述候选重复网页存储至重复网页集合包括：将所述至少一组原始重复网页作为当前网页，根据当前网页上的锚文本识别无效链接，并将所述无效链接从当前网页上去除；获取当前网页中XPATH相同、锚文本相同或相近的重复链接；将所述重复链接指向的网页作为候选重复网页存储至重复网页集合；将所述候选重复网页作为当前网页，返回执行所述去除无效链接的操作，直至获取到的新的候选重复网页的数量小于或等于设定稳定值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度在线网络技术（北京）有限公司，未经百度在线网络技术（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410324553.2/，转载请声明来源钻瓜专利网。
