[发明专利]一种分布式爬虫系统中的URL去重方法

摘要

本发明公开了一种分布式爬虫系统中的URL去重方法，包括将Hash值放入一个2m的环形空间中，每个节点处理连续的Hash环上的一段，每个节点对应一个Bloom Filter结构。URL的去重过程为先计算Hash，获得对应的服务器节点，再判断根据Bloom Filter的内容判断是否已经存在。本发明采用一致性Hash和Bloom Filter相结合的方式，可以根据需要动态增加Bloom Filter节点，既可以保证URL数量不断增大时，控制Bloom Filter的假阳性误判率控制在给定范围内，又可以充分利用Bloom Filter的高效性，适用于构造大规模分布式的网络爬虫，支持高效抓取海量网页内容。

主权项

一种分布式爬虫系统中的URL去重方法，其特征在于，包括以下步骤：S1、将服务器集群作为统一的资源池，并将Hash值放入一个2m的Hash环形空间中，每个服务节点也作为对象放入Hash环中，每个服务节点对应一个Bloom Filter结构，每个服务节点处理对应范围的请求；S2、每个节点初始化Bloom Filter结构，即初始化一个长度为n比特的数组，所有比特位初始值都为0；S3、对新获取到的URL进行Hash计算得到H；S4、根据H落在hash环上的位置获得对应的服务节点k；S5、对应的服务器k对URL用K个Hash函数进行计算，得到K个哈希值H[0],H[1],....,H[k‑1]；S6、根据K个Hash值查找Bloom Filter中的比特位图，判断对应的比特位是否都为1，若均为1，则认为URL为重复，进入步骤S7，否则进入步骤S8；S7、丢弃重复的URL，进入步骤S3；S8、将该URL放入爬虫的待处理队列中；S9、将该服务器节点k的Bloom Filter中对应的H[0],H[1],....,H[k‑1]位全部置为1；S10、记录插入log，内容为H，H[0],H[1],...,H[k‑1]，插入记录数加1S11、判断Bloom Filter的使用率是否达到门限值，如果未达到门限值，则进入步骤S3，否则进入步骤S12；S12、增加节点，新生成节点K+1，,将节点对应的Bloom Filter内容进行迁移，即将节点对应的写入log进行重放操作，对应H值属于K+1节点的内容，将K+1的Bloom Filter中对应的H[0],H[1],...,H[k‑1]全部置为1；S13、对应节点k进行类似步骤S12的操作，生成新的Bloom Filter，完成后替换原来的Bloom Filter，进入步骤S3。