[发明专利]基于IP的高效爬虫方法

权利要求书

1.一种基于IP的高效爬虫方法，其特征在于，所述的系统包括：

(1)获取代理IP，将IP放入可用性检测队列，请求在本地搭建的服务器，将高质量代理的IP放入普通IP池；

(2)根据实际采集任务，制定指定网站使用的IP池；

(3)对各个代理池的IP请求服务器，删掉失效的IP。

2.根据权利要求1所述的基于IP的高效爬虫方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1.1)获取代理IP，将IP放入可用性检测队列；

(1.2)请求在本地搭建的服务器，判断2秒内是否能得到服务器响应，如果是，则此IP为高质量代理，添加目标网站质量检测队列，放入普通IP池，继续步骤(2)；否则，所述的IP为非高质量代理，重新放入可用性检测队列；

(1.3)判断所述的IP放入可用性检测队列的次数是否大于3，如果是，则舍弃所述的IP；否则，继续步骤(1.2)。

3.根据权利要求1所述的基于IP的高效爬虫方法，其特征在于，所述的步骤(2)具体包括以下步骤：

(2.1)用所述的IP请求目标网站；

(2.2)判断是否能得到响应，如果是，则所述的IP能通过目标网站验证，将所述的IP重新放入指定网站使用的IP池；否则，将所述的IP放回普通IP池。

4.根据权利要求1所述的基于IP的高效爬虫方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)取出各个代理池的IP，请求步骤(1)的数据服务器；

(3.2)判断2秒内是否能得到服务器响应，如果是，则放回对应的IP池；否则，所述的IP已经失效，从对应IP池删掉所述的IP；

(3.3)继续步骤(3.1)，直至IP池内所有IP均未失效。

5.根据权利要求4所述的基于IP的高效爬虫方法，其特征在于，所述的步骤(3.1)中的代理池包括普通IP池和指定网站使用的IP池。

6.根据权利要求1所述的基于IP的高效爬虫方法，其特征在于，所述的方法还包括使用IP的具体步骤，具体包括以下步骤：

(1-1)利用随机函数从IP池内随机选取代理进行使用。

7.根据权利要求1所述的基于IP的高效爬虫方法，其特征在于，所述的方法还包括使用IP的具体步骤，具体包括以下步骤：

(2-1)判断普通IP池内的IP是否已被多次使用，如果是，则从步骤(2)中的指定网站使用的IP池内选取IP；否则，继续使用普通IP池。