[发明专利]网页地址去重方法、电子设备及计算机可读存储介质在审
申请号: | 201710954304.5 | 申请日: | 2017-10-13 |
公开(公告)号: | CN107844527A | 公开(公告)日: | 2018-03-27 |
发明(设计)人: | 李芳;王建明;肖京 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙)44347 | 代理人: | 高杰,于志光 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种网页地址去重方法,该方法包括步骤依次读取一条待处理网页地址,于改进广义表中搜索该待处理网页地址;若所述改进广义表中没有搜索到该待处理网页地址,则将该待处理网页地址插入至所述改进广义表,并将该待处理网页地址存入待抓取队列;若所述改进广义表中搜索到该待处理网页地址,则停止将该待处理网页地址存入待抓取队列。本发明可以提升网页地址去重效率。 | ||
搜索关键词: | 网页 地址 方法 电子设备 计算机 可读 存储 介质 | ||
【主权项】:
一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的网页地址去重系统,所述网页地址去重系统被所述处理器执行时实现如下步骤:依次读取一条待处理网页地址,于改进广义表中搜索该待处理网页地址,其中,所述改进广义表中的每个节点权重相同,且所述改进广义表中的每个节点包括一个判断当前节点是否为根节点的标志位;若所述改进广义表中没有搜索到该待处理网页地址,则将该待处理网页地址插入至所述改进广义表,并将该待处理网页地址存入待抓取队列;及若所述改进广义表中搜索到该待处理网页地址,则停止将该待处理网页地址存入待抓取队列。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710954304.5/,转载请声明来源钻瓜专利网。
- 上一篇:包括至少两个相互铰接连接的汽车部分的汽车
- 下一篇:八轴有轨车辆