[发明专利]一种分布式爬虫系统中的URL去重方法

权利要求书

1.一种分布式爬虫系统中的URL去重方法，其特征在于，包括以下步骤：

S1、将服务器集群作为统一的资源池，并将Hash值放入一个的Hash环形空间中，每个服务节点也作为对象放入Hash环中，每个服务节点对应一个Bloom Filter结构，每个服务节点处理对应范围的请求；

S2、每个节点初始化Bloom Filter结构，即初始化一个长度为n比特的数组，所有比特位初始值都为0；

S3、对新获取到的URL进行Hash计算得到H；

S4、根据H落在hash环上的位置获得对应的服务节点b；

S5、对应的服务节点b对URL用k个Hash函数进行计算，得到k个哈希值H[0],H[1],....,H[k-1]；

S6、根据k个Hash值查找Bloom Filter中的比特位图，判断对应的比特位是否都为1，若均为1，则认为URL为重复，进入步骤S7，否则进入步骤S8；

S7、丢弃重复的URL，进入步骤S3；

S8、将该URL放入爬虫的待处理队列中；

S9、将该服务节点b的Bloom Filter中对应的H[0],H[1],....,H[k-1]比特位全部置为1；

S10、记录插入log，内容为H，H[0],H[1],...,H[k-1]，插入记录数加1；

S11、判断Bloom Filter的使用率是否达到门限值，如果未达到门限值，则进入步骤S3，否则进入步骤S12；

S12、增加节点，新生成节点b+1，将节点对应的Bloom Filter内容进行迁移，即将节点对应的写入log进行重放操作，对应H值属于b+1节点的内容，将b+1的Bloom Filter中对应的H[0],H[1],...,H[k-1]比特位全部置为1；

S13、对应服务节点b进行步骤S12的操作，生成新的Bloom Filter，完成后替换原来的Bloom Filter，进入步骤S3；

所述Bloom Filter结构中，Bloom Filter假阳性误判概率为

，

其中k为hash函数个数，a为比特位总数，c为插入元素个数，则在给定f,k,a时，允许插入的最大元素个数Cmax为：

。