[发明专利]一种分布式网络爬虫的URL去重方法及其系统在审
| 申请号： | 201811392810.0 | 申请日： | 2018-11-21 |
| 公开（公告）号： | CN109657118A | 公开（公告）日： | 2019-04-19 |
| 发明（设计）人： | 胡翔 | 申请（专利权）人： | 安徽云融信息技术有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/955;H04L9/06 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230000 安徽省合肥市高新区*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式网络爬虫的URL去重方法及其系统，涉及数据传输领域。本发明包括如下步骤：步骤S01：获取待抓取网页的URL；步骤S02：URL进行MD5压缩处理；步骤S03：将生成的密文切割成16位数组；步骤S04：根据磁盘符号查找方式将密文生成数组的转换为相应路径；步骤S05：判断linkurl中是否存在相应的URL；步骤S06：对资源库中的URL进行解密并动态插入改进广义表；步骤S07：遍历待去重的URL每个字母；步骤S08：依次判断每个字母对应的节点是否存在。本发明通过MD5加密算法与树相结合的方式对URL初步去重，再通过将初步去重的URL依次遍历每个字母，根据字母对应的节点进行二次去重，提升了网络爬虫抓取数据精确性和效率，降低了资源空间占有率。 | ||
| 搜索关键词： | 去重 抓取 分布式网络 爬虫 遍历 数据传输领域 符号查找 密文生成 网络爬虫 压缩处理 资源空间 广义表 资源库 磁盘 解密 密文 数组 切割 占有率 网页 转换 改进 | ||
【主权项】：
1.一种分布式网络爬虫的URL去重方法，其特征在于，包括如下步骤：步骤S01：获取待抓取网页的URL；步骤S02：将获取的URL进行16位MD5压缩处理；步骤S03：将生成的密文切割成16位数组；步骤S04：根据磁盘符号查找方式将密文生成数组的转换为相应路径；步骤S05：判断linkurl中是否存在相应的URL；若不存在，则URL存储至资源库；若存在，则删除该URL；步骤S06：对资源库中的URL进行解密并动态插入改进广义表；步骤S07：从动态广义表根节点出发，遍历待去重的URL每个字母；步骤S08：依次判断每个字母对应的节点是否存在；若存在，则将该条URL去重；若不存在，则将该条URL存储至待抓取队列。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于安徽云融信息技术有限公司，未经安徽云融信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811392810.0/，转载请声明来源钻瓜专利网。
